Frequently Asked Questions
Проблемы с CMS
Проблемы с форумами
Общие
Временные, срочные
Домены
Программирование
SEO
Перенос сайта
Ошибки HTTP
Сверхсрочные
Проблемы с почтой
Неактуальные
Аккаунтинг
Смежное ПО
Проблемы с почтой
Статистика
Зарегистрировано:
Администраторов - 2
Пользователей - 219

Отвечено на 324 вопросов
Ожидающих вопросов 35

Ответы помогли 173968 людям

Посетителей сегодня238
Посещений сегодня313
Сегодня искали2
Все посетители618268
Все посещения761181
Все поиски3884

Макс. посетителей03.01.2009
Макс. посещений03.01.2009
Макс. поисков30.05.2008
По дням...
Что такое robots.txt и зачем он нужен?
Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin


Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/
Вопрос задан пользователем Astraller [25.04.2008]