Frequently Asked Questions
Проблемы с CMS
Проблемы с форумами
Общие
Временные, срочные
Домены
Программирование
SEO
Перенос сайта
Ошибки HTTP
Сверхсрочные
Проблемы с почтой
Неактуальные
Аккаунтинг
Смежное ПО
Проблемы с почтой
Статистика
Зарегистрировано:
Администраторов - 2
Пользователей - 369

Отвечено на 326 вопросов
Ожидающих вопросов 204

Ответы помогли 375621 людям

Посетителей сегодня81
Посещений сегодня83
Сегодня искали0
Все посетители1621662
Все посещения1990607
Все поиски8038

Макс. посетителей03.01.2009
Макс. посещений03.01.2009
Макс. поисков30.05.2008
По дням...
Что такое robots.txt и зачем он нужен?
Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin


Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/
Вопрос задан пользователем Astraller [25.04.2008]