Frequently Asked Questions
Проблемы с CMS
Проблемы с форумами
Общие
Временные, срочные
Домены
Программирование
SEO
Перенос сайта
Ошибки HTTP
Сверхсрочные
Проблемы с почтой
Неактуальные
Аккаунтинг
Смежное ПО
Проблемы с почтой
Статистика
Зарегистрировано:
Администраторов - 2
Пользователей - 369

Отвечено на 326 вопросов
Ожидающих вопросов 204

Ответы помогли 515287 людям

Посетителей сегодня88
Посещений сегодня88
Сегодня искали0
Все посетители1917108
Все посещения2317305
Все поиски8357

Макс. посетителей28.01.2018
Макс. посещений28.01.2018
Макс. поисков30.05.2008
По дням...
Что такое robots.txt и зачем он нужен?
Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin


Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/
Вопрос задан пользователем Astraller [25.04.2008]