Ранжирование сайтов в выдаче поисковиков происходит на основании индексирования содержимого поисковыми роботами. Результат индексации - списки URL, которые регулярно проверяются на предмет качества и
соответствия контента. При обнаружении новой ссылки робот добавляет её в список и страница становится доступной в результатах поиска.
Назначение и содержание
Robots.txt - инструкция, которую разработчики сайта оставляют для поисковых роботов. При индексации ресурса они в первую очередь обращаются к этому файлу за указаниями к действию по отношению к тем или иным страницам.
Содержание текстового документа robots.txt определяет следующие действия роботов:
- Разрешение или запрет на индексацию определённых элементов - разделов или страниц.
- Указание адреса актуальной зеркальной ссылки сайта.
- Устанавливает интервал времени, предназначенный для скачивания контента.
Отсутствие файла robots.txt с инструкциями фактически означает разрешение на индексирование полного объёма содержимого сайта. В этом случае существенно увеличивается нагрузка поисковиков на ресурс, а скорость индексации снижается ввиду большого объёма обрабатываемой информации. Если некоторые элементы содержимого не в полной мере соответствуют требованиям поисковиков, это отрицательно сказывается на итоговой позиции в выдаче. Наличие грамотно составленного документа robots.txt гарантирует, что роботы увидят только то, что необходимо владельцу, обойдя вниманием дублированные или некачественно наполненные страницы.
Директивы, которые прописываются в robots.txt
Для создания файла robots.txt не потребуется особенных навыков, процедура предельно проста - создаём новый документ расширением .txt под названием robots. Далее нужно заполнить его директивами, которые определяют поведение роботов на сайте. Перечень этих команд был разработан в 1994 году, а спустя два года дополнен.
Рассмотрим основные директивы, прописываемые в robots.txt: User-agent - формирует список роботов, которые обязаны выполнять перечисленные директивы;
Allow / Disallow - разрешение / запрет на индексирование содержимого определённой части ресурса;
Sitemap - команда предоставляет машинам маршрут пути к необходимой странице;
Host - директива обозначает основное зеркало сайта, указывается один раз в конце текста в файле robots.txt;
Crawl-delay - устанавливает промежуток времени между загрузками;
Clean-param - специальная команда для ботов Яндекса, которая устанавливает запрет на индексацию страниц с определёнными параметрами.
Важно помнить, что главный параметр самого файла robots.txt - его размер. Если он превышает 32 КБайт, то доступ к индексированию автоматически открывается для всего содержимого ресурса.
Условия использования
Отправить
Мои комментарии