Роботы Яндекса и их виды

Иногда граждане, которые ударились в сайтостроение буквально позавчера, думают, что робот у яши – всего один.
Однако это не так.
Роботов у яши – вагон и маленькая тележка.
Натурально на каждый пук – предусмотрен свой робот.
Поэтому сегодня для разнообразия посмотрим, как выглядят яшкины боты в логах сервера. Особенно это актуально, если сайт – молодой, и только-только начал индексироваться поисковыми системами.

Ниже будут перечислены виды роботов Яндекса.

Справедливости ради нужно отметить, что в логах сервера роботы Яндекса видны далеко не всегда так, как будет показано ниже. Тот же самый «австатс», к примеру, паука на сайте прекрасно видит, но кому он принадлежит конкретно – не пишет. Пишет только «неизвестный робот», который «был опознан как паук». И дату-время пребывания на сайте.

С гуглоботом – проще. Его австатс видит корректно. Так и пишет – «googlebot». Был тогда-то, сжег трафа столько-то и тому подобное. А вот с роботами яндекса все сложнее. Для того, чтобы было понятно, о чем я толкую – вот скрин здешней статистики поисковых роботов:

Поисковые роботы яндекса

Как видно из него – никаких вывесок о том, что какой-то из роботов принадлежит Яндексу, тут нет.

Возникает вопрос: зачем тогда упоминать о каких-то обозначениях роботов Яндекса, если их все равно в логах сервера не видно?

Ответ на этот вопрос очень простой: не австатсом единым, как говорится. Это тут сервак управляется линупсом. И стоит на нем – пресловутый спаниель (cPanel). А у кого-то – сервак может быть под упрвлением Windows. И панель управления там может быть другая. И модуль статистики – соответственно, тоже. И статистика ботов там, вполне возможно, будет выглядеть несколько по-другому.

Поисковые роботы Яндекса и их основные виды

  • Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) – Примерно так может выглядеть главный индексирующий бот. Это то, что приползает к вам на сайт после того, как туда набежит так называемый «быстробот», заботливо загнанный туда с каких-нибудь «соцзакладок», или с новостных сайтов, или откуда-нибудь еще.
  • Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) – слово «mirror» говорит само за себя, какбе. Это робот-зеркальщик. На редкость тупая скотинка, которая по сей день не научилась корректно работать с 301 редиректом. Если кто-то в этом сомневается – можно почитать здешнюю эпопею про зеркала сайта, про префиксы и тому подобное.
  • Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) – «картиночный» робот. Находит изображения, и размещает их в выдаче по картинкам.
  • Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) – этот робот Яндекса находит и индексирует видеоматериалы.
    Кроме того, у Яши есть еще один бот, который отвечает за индексацию мультимедийного контента на сайтах. Вот этот: Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)
  • Все прекрасно видели вывеску «Яндекс-блоги». Так вот, для индексации комментариев в постах блогов предусмотрен вот этот бот: Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)
  • Еще один момент, который наверняка многие замечали: страницы сайта – уже попали в индекс Яши, а вот фавикон сайта – вы выдаче еще не отображается. Это происходит потому, что робот Яндекса, отвещающий за индексацию фавиконов – до фавикона на новом сайте еще не добрался. «Фавиконный» робот Яши выглядит вот так: Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots
  • Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) – бот, приползающий на сайт после того, как он был добавлен в «аддурилку» Яши.
  • Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) – бот-валидатор микроразметки сайта.
  • Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) – бот мобильных сервисов.
  • Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) – можно сказать, аналог гуглового «медиапартнерса». «Яндекс-директный» робот – индексирует страницы с этим самым директом.
  • Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) – Еще один «директный» робот. Так называемая «простукивалка». Следит за тем, чтобы ссылки с директных объявлений вели туда, куда надо.
  • Яндекс-метрика, если кто не в курсе, это что-то вроде сервиса статистики. Который является довольно убогой пародией на гугл-аналитикс. Так вот, у этой самой метрики – тоже есть свой робот: Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots).
    Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) – новостной поисковый робот Яндекса.
  • В общем-то, следующего робота можно было бы и не называть. Просто потому что для большинства начинающих сайтостроителей это неактуально. Потому что попасть в Яндекс-каталог можно только за весьма кругленькую сумму. А оттуда она у начинающего сайтостроителя? А для бесплатного попадания в сей каталог – сайт должен быть на яшином «народе», к примеру.
    Но кому вперся этот «народ», скажите мне на милость?
    Тем не менее – вот робот Яндекс-каталога: Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel; +http://yandex.com/bots). Следит за тем, чтобы то, что попало в их драгоценный каталог, было доступно. Если недоступно – перестает отображаться в каталоге. Как только стало доступно – вновь начинает отображаться.
  • Если вы видели в гугле вывеску «этот сайт может нанести вред вашему компьютеру», то знайте: в Яндексе тоже есть приблуда, которая может выявить, что на ваш сайт какой-то ушлый дядя внедрил вредоносный код. После этого – возле вашего сайта в выдаче Яндекса возникнет соответствующее предупреждение. Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
  • Как и в гугле, в Яндексе тоже существует свой «закладочный» сервис. Вот он: Mozilla/5.0 (compatible; YandexZakladki/3.0; Dyatel; +http://yandex.com/bots).


Запись опубликована в рубрике SEO. Добавьте в закладки постоянную ссылку.

3 комментария на «Роботы Яндекса и их виды»

  1. Алексей говорит:

    Интересно, а что означает слово Dyatel?

  2. admin говорит:

    Оно означает «дятел».
    «Простукивалка» же.
    Следовательно — долбит. Название — соответствующее. У них все «стучалки» величаются дятлами.

  3. kashtan4uk говорит:

    сори за оффтоп, но опуса на тему «ссылок в статье на другие статьи блога» я по ходу не дождусь … скажите, они помогают продвигать запросы или в чем другом их предназначение)?

Обсуждение закрыто.