Сделать стартовой

Всё для администраторов

Объявление

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Всё для администраторов » Веб мастеру » robots.txt>>


robots.txt>>

Сообщений 1 страница 2 из 2

1

Спецификация robots.txt.

Поисковые машины поддерживают всего три директивы файла robots.txt:

# означает начало комментария. Вся строка, следующая за этим знаком, игнорируется. Данная директива позволяет разработчику оставить себе памятку о том, с какой целью он указал ту, или другую, директиву.

User-agent: указывает робота, которому адресован приведенный в следующих за строкой User-agent блок инструкций. Например, робот поисковой системы Рамблер называется StackRambler и, строка для его указания выглядит как:

User-agent: StackRambler

В одной директиве User-agent можно указать только одного робота (на самом деле, спецификации, с момента создания изменились и, в одной директиве, через пробел можно указывать любое количество роботов, но наши поисковые системы и многие западные, проигнорировали такое нововведение в спецификации и не понимают строк User-agent указывающих на нескольких роботов) и, для указания нескольких роботов, применяется несколько директив User-agent. Однако допускается применение универсального имени * означающего всех роботов, кроме тех, что указаны в других строках. Например:

User-agent: *

Если указание одного и того же робота повторяется в нескольких строках (по ошибке), роботами учитывается только первое, потому что, найдя первое упоминание о себе, роботы прекращают поиск директивы User-agent (спецификация, в таком случае, разрешает роботам произвольно выбирать используемый блок).

disallow: указывает имя или часть имени не индексируемых файлов. Так же, как и директива User-agent, директива disallow: допускает не более одного параметра, поэтому для указания нескольких файлов, требуется употребление нескольких строк disallow. Директивы disallow должны идти в следующей строке после строки User-agent. Пустая строка является окончанием блока параметров для одного робота и началом блока параметров для следующего. Дойдя до пустой строки своего блока, роботы прекращают чтение параметров и начинают индексацию файлов. Поэтому пустые строки недопустимы как внутри блока параметров, так и между этим блоком и предшествующей им строкой с директивой User-agent. Например, блок параметров для Рамблера должен выглядеть так:
user-agent: StackRambler
disallow: /alt
disallow: /mac
disallow: /koi

Этот блок запретит индексацию файлов путь, к которым начинается с alt, mac и koi. Если же между disallow: /mac и disallow: /koi вставить пустую строку, файлы, имя которых начинается с koi, будут проиндексированы.

Директива disallow не признает шаблонов типа *.CGI, поэтому, чтобы облегчить себе жизнь и не повторять строку тысячи раз, следует собрать все неиндексируемые файлы в один каталог (или несколько каталогов, если так будет удобней) и запретить индексацию всего этого каталога.

Параметр директивы disallow должен указывать относительный путь от корня сайта. Попытка указать абсолютный путь вроде HTTP://MyCite.Host.ru/files.html приведет к результату

disallow: /HTTP://MyCite.Host.ru/HTTP://MyCite.Host.ru/files.html

Этот результат получается в силу того, что путь к корневому каталогу сайта роботами учитывается автоматически (иначе можно было бы запретить индексацию файлов на чужих сайтах).

Корневой каталог сайта обозначается обратным слешем (/). Если по какой-то причине не требуется индексация всего сайта, директива disallow должна указывать на корень:

disallow: /

Директива disallow без слеша ничего не запрещает.

Если не требуется индексация файлов, имя которых начинается с некоторой последовательности символов, в директиве disallow указывается обратный слеш и требуемая последовательность. Например:

disallow: /dir

Запретит индексацию файлов «/dir.html», «/dir/index.html», «/directory.html».

Если требуется указать не начало имени файла или пути к нему, а имя целиком, это имя следует закончить обратным слешем. Например:
disallow: /dir/
disallow: /dir.html/

Чувствительность к регистру в имени файлов зависит от сервера предоставляющего хостинг. Если сервер регистрочувствительный, то

disallow: /dir.html/

Запретит индексацию файла dir.html, но не файла dir.HTML.

Других директив, robots.txt содержать не может. В частности, нет директив разрешающих индексацию. Иначе владелец сайта мог бы разрешить индексацию файлов, запрещенных к индексации владельцем сервера.

Трудно представить ситуацию, в которой содержателю сайта пришлось бы давать различные инструкции для разных роботов. Поэтому, с учетом изложенного, стандартный файл robots.txt выглядит примерно так:
User-Agent: *
Disallow: /cgi-bin/
Disallow: /links/

Где cgi-bin – папка с cgi-скриптами, а links – папка с различными ссылками. Если же требуется задание различных параметров индексации различным роботам, перед началом блока параметров для следующего робота обязательно наличие пустой строки, определяющей завершение предыдущего блока. Например:
User-Agent: *
Disallow: /cgi-bin/
Disallow: /links/
 
User-Agent: Lycos
Disallow: /cgi-bin/

Имена некоторых роботов: Yandex, StackRambler, Aport, Googlebot, Lycos

0

2

Для чего robots.txt создателю сайта?

На первый взгляд может показаться что, возня с файлом robots.txt для создателя сайта не имеет смысла, так как наиболее популярные поисковые машины все равно его проиндексируют. Но это только на первый взгляд. Многие файлы, например, файлы, хранящие скрипты, не требуют индексации и, их индексацию лучше запретить, уменьшив, таким образом, время, затрачиваемое роботами на индексацию, и создаваемый ими трафик на сервере, предоставившем место для сайта. В результате, у посетителей увеличится скорость доступа к ресурсам сайта, и они вернутся к нему с большим удовольствием. Если же скорость будет очень низкая, то они вернутся, только если им больше некуда будет деваться.

Кто имеет настолько уникальное и настолько ценное содержание сайта, что посетитель будет пробиваться к нему несмотря не на какие преграды?

К тому же, сайты, подолгу имеющие плохой доступ, исключаются из каталогов-рубрикаторов, вроде каталога Яндекса. А это рушит многие надежды владельцев сайта.

Конечно, десяток файлов одного сайтодержателя не изменят погоды на фоне миллиона других файлов, закачиваемых поисковым роботом, но если об исключении из индексации лишних файлов позаботятся все пользователи хостинга на данном сервере, результат будет ощутимым. Настолько ощутимым, что администрация некоторых серверов предоставляющих хостинг (например, h11.ru) запрещает владельцам сайта помещать скрипты иначе как в каталог cgi-bin и редактировать файл robots.txt, а лиц, уличенных в нарушении этого запрета, лишает права хостинга. Поэтому, файлом robots.txt следует обзавестись и указать в нем файлы и каталоги, не требующие индексации. Не стоит полагаться на мощность серверов – любую, даже самую продвинутую, систему можно загадить.

В повышении скорости доступа к файлам сервера каждый должен сделать все от него зависящее, не оглядываясь на остальных. Другие, возможно уже сделали это, или сделают, когда до них дойдет очевидная польза данного действия.

Вторая, гораздо более значимая для владельца сайта причина создать файл robots.txt заключается в механизме, по которому роботы обрабатывают сайты:

Для того чтобы робот начал индексировать страницу, он должен знать о ее существовании. Информацию о существовании страницы, обычно робот получает из ссылок на других страницах. Получив ссылку на какую-то страницу, робот закачивает ее, индексирует, анализирует ссылки и закачивает указанные в них страницы, с тем, чтобы без устали повторять одни и те же операции – закачивание, индексация, анализ ссылок. При обнаружении ссылок на страницы другого сайта, робот начинает закачивать страницы и от туда, а там новые ссылки, некоторые из которых могут вести к следующему сайту (именно так зачастую роботы обнаруживают новые сайты). При этом существует вероятность полного переключения робота на другие сайты, и Ваши страницы останутся недоиндексированными (конечно, не навсегда, но, возможно, надолго). Вот тут-то, директива Disallow, запрещающая индексацию страниц с многочисленными ссылками на другие сайты, была бы очень кстати.

0


Вы здесь » Всё для администраторов » Веб мастеру » robots.txt>>