Frequently Asked Questions
Проблемы с CMS
Проблемы с форумами
Общие
Временные, срочные
Домены
Программирование
SEO
Перенос сайта
Ошибки HTTP
Сверхсрочные
Проблемы с почтой
Неактуальные
Аккаунтинг
Смежное ПО
Проблемы с почтой
Статистика
Зарегистрировано:
Администраторов - 2
Пользователей - 369

Отвечено на 326 вопросов
Ожидающих вопросов 204

Ответы помогли 361884 людям

Посетителей сегодня409
Посещений сегодня413
Сегодня искали0
Все посетители1544269
Все посещения1905802
Все поиски7889

Макс. посетителей03.01.2009
Макс. посещений03.01.2009
Макс. поисков30.05.2008
По дням...
Что такое robots.txt и зачем он нужен?
Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin


Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/
Вопрос задан пользователем Astraller [25.04.2008]