Frequently Asked Questions
Проблемы с CMS
Проблемы с форумами
Общие
Временные, срочные
Домены
Программирование
SEO
Перенос сайта
Ошибки HTTP
Сверхсрочные
Проблемы с почтой
Неактуальные
Аккаунтинг
Смежное ПО
Проблемы с почтой
Статистика
Зарегистрировано:
Администраторов - 2
Пользователей - 369

Отвечено на 326 вопросов
Ожидающих вопросов 204

Ответы помогли 369113 людям

Посетителей сегодня87
Посещений сегодня99
Сегодня искали0
Все посетители1583043
Все посещения1950823
Все поиски7973

Макс. посетителей03.01.2009
Макс. посещений03.01.2009
Макс. поисков30.05.2008
По дням...
Что такое robots.txt и зачем он нужен?
Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin


Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/
Вопрос задан пользователем Astraller [25.04.2008]