Ошибки robots.txt

В продолжение прошлого поста о создании файла robots.txt – сегодня рассмотрим основные ошибки robots.txt, которых нужно по возможности избегать. В противном случае – реакция ботов на это дело может быть трудно предсказуемой.

В прошлой заметке приводился пример рабочего файла robots.txt. Как можно заметить, блоки директив для разных юзерагентов там разделены пустой строкой:

fail1

Так вот, очень часто блоки директив пустыми строками разделять забывают. Такой блок выглядит вот так:

Ошибка robots.txt 1

И это – не совсем корректно.

Еще одна распространенная ошибка состоит в том, что пустую строку – оставляют между собственно юзерагентом и блоком директив. Вот так:

Ошибки robots.txt 2

Это – тоже неверно.

Третий момент – пустые строки между директивами в самом блоке – вот так:

Ошибка 3

В особо тяжелых случаях – каждая запрещающая директива пишется через строчку. Так делать тоже не следует.

Еще один момент связан с юзерагентами. В некоторых роботсах их начинают перечислять с самого начала, все подряд. Это – вопиющая ошибка, допускать которую ни в коем случае нельзя:

Ошибки robots.txt 4

Если в самом начале перечислить всех роботов – может выйти так, что учтен не будет ни один из них. Как вариант – учтен будет только тот, кто записан самой последней строчке списка юзерагентов.

Ну и наконец, некоторые граждане отчего-то стесняются использовать в robots.txt пресловутую звездочку. Вместо этого – они начинают прописывать юзерагенты с блоками директив для каждого поискового робота в отдельности. Это – тоже распространенная ошибка robots.txt, которая ни к чему хорошему не приводит.



Запись опубликована в рубрике SEO. Добавьте в закладки постоянную ссылку.