Создавая свой маленький «мир» мало кто задумывается о том, что поисковые роботы могут не только увеличить посещаемость интернет ресурса, но и порядочно подпортить жизнь Вашим посетителям, подняв количество получаемого ими спама до невероятных высот.

Выход из создавшейся ситуации прост - файл robots.txt. Он не только способен запретить поисковым роботам рыскать в поиске e-mail адресов, но и полностью оградить сайт от посещения и индексирования абсолютно всеми роботами.

Вы спросите, зачем это мне? Ответ прост ¬¬- представим ситуацию: не так давно мне пришлось реконструировать сайт. Дабы не привлекать на недоработанный ресурс новых клиентов, которые, увидев надписи «на реставрации» или «в разработке», вряд ли вспомнят, когда-либо, про этот адрес, я просто закрыл доступ к моему сайту для поисковиков. «Приглашать» роботов на свой сайт имеет смысл только тогда, когда он полностью готов, «сырой» продукт редко себя окупает.

Также довольно часто на сайтах используются VIP зоны и не посвященным там делать нечего – закрываем этот раздел для поисков, и вопрос с конфиденциальностью решен малыми жертвами.

Спам? Нет ничего проще, достаточно в текстовом редакторе внести в файл несколько строк:
User-agent: EmailCollector
Disallow: /

Сохранить это все в корневую директорию на Ваш сервер так, чтобы файл robots.txt находился на одном уровне с домашней страницей, и вуа-ля. Ваши клиенты лишены килобайтов лишней литературы.

Вам не нравиться, когда кто-либо сует свой нос куда не следует? Взгляните на файл robots.txt с сайта abakus (http://www.abakus-internet-marketing.de/robots.txt), и Вы заметите, что некоторые используют данный файл, для ограничения доступа к приватным разделам, а также директорий cqi-bin и images.

Пусть в Вашу жизнь всех, или оставить их на длинной дистанции? Открыть спаму мир или бороться за чистоту почты? Все в ваших руках, осталось только захотеть.

Это далеко не все Ваши возможности, и без того простой синтаксис файла robots.txt позволит Вам на время забыть о неисполнимых желаниях.

Вы спросите, все ли так хорошо? Отвечу Вам, даже более того - файл robots.txt никак не влияет на ранжирование сайта. То есть, процесс выбора страниц из базы поисковой машины, соответствующих запросу пользователя никак не зависит от данного файла, и не повлияет на посещаемость Вашего сайта.

Более детальную информацию Вы можете получить на официальных сайтах проекта, как на русском:
http://www.robotstxt.ru/,
так и на английском языках
http://www.robotstxt.org/wc/exclusion-admin.html.