Наверное потому что они придут тогда когда увидят ссылки на ваш сайт на других сайтах, или вы добавите свой сайт сами, например так:
http://webmaster.yandex.ru/
http://www.google.ru/webmasters/tools/

Потому что Google так захотел.

PS А если серьёзно, то причин могут быть тысячи, и надо либо четче ставить вопрос, либо идти на форум где зададут уточняющие вопросы.

Можно, вот решение:
RewriteEngine On
RewriteBase /
RewriteRule ^cms_plugins/(.*) /plugins/$1 [QSA]
Для поисковиков путь останется старым.

Файл robots.txt нужен что-бы запрещать к индексации определенные части сайта.
Например код запрета доступа всем ботам админки:

User-agent: *
Disallow: /admin

Так же, недавно появилась возможность указывать основной домен сайта:

Host: www.site.ru

Сайт посвященный robots.txt: http://robotstxt.org.ru/

Что бы ваш сайт был более-менее оптимизирован для поисковиков достаточно прочитать и выполнить все действия описанные тут: http://www.ayola.net/forum/index.php/topic,2962.0.html
PS В панели управления аккаунтом (http://ayola.net/panel/) можно добавить описание своего сайта для последующего "рекламирования" на форуме ayola.net и на блогах ayola.ru