 Проблемы с CMSПроблемы с форумамиОбщие Временные, срочные Домены ПрограммированиеSEO Перенос сайта Ошибки HTTP Сверхсрочные Проблемы с почтой Неактуальные АккаунтингСмежное ПО Проблемы с почтой Статистика Зарегистрировано:Администраторов - 2 Пользователей - 219 Отвечено на 324 вопросов Ожидающих вопросов 35 Ответы помогли 173968 людям
|
Что такое robots.txt и зачем он нужен? Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта. Например код запрета доступа всем ботам админки: User-agent: * Disallow: /admin Так же, недавно появилась возможность указывать основной домен сайта: Host: www.site.ru Сайт посвященный robots.txt: http://robotstxt.org.ru/ Вопрос задан пользователем Astraller [25.04.2008] |