Robots.txt

Robots.txt представляет собой инструкцию для поисковых роботов. Она сохраняется в корневой папке ресурса и осуществляет контроль над поведением роботов, к примеру, проводит индексацию определенной части сайта.

История происхождения

В середине 90-х годов, когда поисковые системы начинали свою активную деятельность в интернете, что стало мешать работе по оптимизации сайтов. Все по причине того, что во время индексации ресурсов поисковики обрабатывали полностью все страницы, и в итоге образовалась необходимость создать специальный инструмент, подсказывающий поисковым системам, где должна быть проведена индексация, а где нет. И в июне 1994 года был создан необходимый ресурс – стандарт написания рабочих файлов robots.txt .

Поисковая система и robots.txt


При посещении сайта поисковик сразу же обращается к robots.txt, который выглядит: 

User-agent: * 

Disallow: /cgi-bin/ 

Disallow: /tmp/ 

Звездочка после User-agent означает общий доступ к robots.txt для всех поисковых роботов. Этот знак может быть заменен на название любого робота. Определение Disallow сообщает о полном запрете всяческих действий поисковых машин. Большое значение здесь играет отсутствие или присутствие формулы слэш (/) после Disallow:

Disallow: / 

User-agent: * 

Слэш говорит о полном запрете на индексацию ресурса любыми роботами. Тег noindex и атрибут nofollow также устанавливаются для запрета индексации, однако они имеют негативное отношение со стороны поисковых систем.

Комментарии

ОтменитьДобавить комментарий