![]() |
---|
|
Как правильно использовать фаил robots.txt для запрета индексации фаилов и папок?
В данном уроке пойдёт речь о закрытии доступа поисковым ботам к тем разделам сайта, которые не следует индексировать. Проще всего это сделать с помощью файла robots.txt, который необходимо разместить в корне сервера. В этот фаил можно вносить несколько параметров. Первый из них, это параметр User-agent, который указывает на то, какому именно поисковику Вы хотите запретить индексацию тех или иных каталогов или страниц. Если Вы хотите отнести ваш запрет одновременно ко всем поисковым ботам, то поставьте в это поле звездочку (*). Далее идет параметр Disallow, который указывает какие именно папки и файлы не нужно индексировать. Например, нам необходимо запретить поисковику доступ к папкам с изображениями, скриптами, временными файлами, а также к файлам страниц ошибок. Вот как это будет выглядеть: User-agent: * Таким образом мы запретили поисковым ботам индексировать некоторые страницы и разделы сайта. Напомню, что набирается всё это дело в обыкновенном блокноте, а затем копируется в корень сервера с помощью FTP клиента обязательно в режиме ASCII (современные FTP клиенты делают это автоматически). Вот Вам ещё на всякий случай названия самых популярных в рунете поисковых ботов: Вот самые распространённые в Рунете поисковые боты. Рамблер - StackRambler Яндекс - Yandex Google - Googlebot MSN – msnbot Пользуйтесь на здоровье!
Если хотите не упустить данный урок, добавьте его в закладки:
Рейтинг: ![]()
Оставить комментарий: |
|
---|
|