Что такое индексация нового сайта?

Вы когда-нибудь задумывались над этим вопросом?
А точнее – что именно следует считать индексацией сайта поисковой системой? И когда новый сайт следует считать проиндексированным?

Для кого-то ответ на этот вопрос может показаться очевидным.
Только ничего очевидного в нем нет.
Здесь уже не раз и не два говорилось о том, что файлы роботса и прочие вебмастерские ухищрения далеко не всегда воспринимаются поисковой системой. И в выдаче того же гугла – периодически можно наблюдать страницы, доступ к которым гуглоботу явно запрещен. Возникает вопрос: следует ли подобные страницы считать проиндексированными поисковиком?

Мнений по этому поводу у различных специалистов масса. И эти мнения – часто диаметрально противоположны (seroundtable.com/seo-arguments-14717.html)

Вот некоторые из этих мнений:

  • Индексация нового сайта возможна даже тогда, когда поисковый бот – не был ни на одной из страниц данного сайта.
  • Для того, чтобы проиндексировать страницу сайта, поисковый робот должен в обязательном порядке ее посетить, без этого – индексация просто невозможна. То есть индексация страницы может быть приравнена к переходу робота по ссылке на эту страницу.
  • Следует разделять факт визита робота на страницу, и факт индексации этой страницы. Потому что это совсем не одно и то же.
  • И наконец, индексация сайта – это исключительно появление данного сайта в выдаче поисковой системы, и больше ничего. А все механизмы, которые этому появлению предшествуют – несущественны.

К слову, еще товарищ Кэттс в далеком 2009 году писал о том, что Google, по сути, глубоко плевать на то, что прописано в файле robots.txt (webpronews.com/why-your-robotstxt-blocked-urls-may-show-up-in-google-2009-10)

Гугл все равно лезет на закрытые страницы, если информация об этих страницах – встречается на каких-то других ресурсах сети, и если на эти страницы ведут хоть какие-то ссылки с этих ресурсов.

Причем происходит парадоксальная вещь: поисковик переходит по ссылке, но страницу – не индексирует. Хотя это обстоятельство – совсем не исключает того, что эта страница однажды все-таки возникнет в выдаче google.

Тот же самый Кэттс советовал тогда всем, кто не хочет, чтобы страницы его нового сайта появлялись в гугловой выдаче, использовать тег noindex.
(Не путать с яшиным поделием, которое тоже называется noindex. В данной заметке речь идет именно о мета-теге noindex, который добавляется к страницам, и который по своим последствиям куда более фатален, чем яшенькин контейнер, на который ругаются все известные науке валидаторы кода).



Запись опубликована в рубрике SEO. Добавьте в закладки постоянную ссылку.

13 комментариев на «Что такое индексация нового сайта?»

  1. ostapof говорит:

    Ничего не понял 🙁

  2. Hans.Lange говорит:

    Убрал премодерацию комментариев?)
    Или специально пропустил товарища к публикации?
    Просто интересно: это очередной одаренный спамер, или действительно непонятливый?

  3. admin говорит:

    Да кто их разберет. Если больше не появится — значит, спамер. Пробегал мимо, сунул ссылку, да дальше бежать. Если вернется и полезет за разъяснениями — значит, действительно чего-то не понял. Но они, как правило, не возвращаются 🙂

  4. Hans.Lange говорит:

    А вот есть ли толк от такого подтыкания ссылок? Тем более, что ссылки ведут обычно на унылые сайты, сколько раз кликал по ссылкам из комментариев на блогах, которые читаю. Это же сколько надо заспамить за день постов, чтобы в живых остались хотя бы 5 ссылок на откровенно унылое говнецо? О_о Так и руки стереть ведь можно, проще уж в блогуне закупиться нормально, по моему.

  5. admin говорит:

    Комментированием сейчас вообще ничего не прокачаешь, по сути. Все ссылки на блогах — закрыты. Дуфоллоу эти — тоже закрываются со временем, после того, как превратятся в ссылочные помойки. Так что да, проще идти в блогуны. Проблем только одна: найти кучку относительно нормальных говносайтов для прокачки пузомерок в оных блогунах сейчас все труднее и труднее.

  6. Hans.Lange говорит:

    Комментирование имеет смысл в жж, на мой взгляд.
    Лично я раньше не знал про всяки ТИЦ и прочее, просто комментировал популярных людей, Тему, Тех-Номада, и прочих, некоторые добавляли в свою ленту, т.к. мои камменты несколько отличались от сотен других в духе «гы-гы, жжошЪ» и прочего. А сейчас смотрю, ТИЦы, ПэЭры, всё в порядке. Профили у всех популярных жжшников платные, отсюда ссылка с их профиля, и с комментарие, которые в платных акках дофоллоу. А спамить стендаллон как-то слишком уж дрочевно)

    По поводу блогуна и качественных площадок, в любом случае проще купить говноссылок, чем рассовать их вручную. На нормальных ресурсах ссылки их комментариев все равно выпилят, а спамить уг вручную, ну, если времени вагон, то можно, наверное.

  7. admin говорит:

    И долго надо комментить ЖоЖо, чтобы тицы-пиары отросли?

  8. Hans.Lange говорит:

    От месяца и выше, смотря как комментить.
    В среднем за месяц можно получить тиц 10. Т.к. я пишу прозу, то создал журнал, куда выложил 6 сказок и забыл про него на 2 месяца, сейчас он имеет тиц 10, пр 2.
    Если комментировать топовых блоггеров, то за месяц можно поднять пузомерки в среднем с 200 комментариев, т.е. по 5-6 камментов в день. Только если комментить 3 журнала, это не есть гут. Проще топ яндекса по жж прошерстить, больше ссылок выйдет. И, это, если увлечься и начать стучать пальцами по клавиатуре лютобешенно, то журнал забанят с тупой причиной — спам. У меня так первый журнал умер, хотя я просто очень активно его вел в то время и общался с большим количеством людей в комментариях чуть ли не сутками.

  9. admin говорит:

    От оно чё.
    У всего этого есть только один недостаток: комментировать нужно именно со ссылкой на свой ЖоЖо.
    Если же на ЖоЖо у тебя давняя и устойчивая аллергия, и полезешь комментить со ссылкой на стендалон — такого интересного эффекта не получится.
    Потому что оные жожошники питают взаимную аллергию к стендалонщикам, гг.
    И трут комменты почем зря, даже если комменты — по делу, что характерно.
    Писал уже об этом однажды.

  10. Hans.Lange говорит:

    Комментировать со ссылкой на жж не надо, надо просто комментировать. В комментариях и так будет стоять ссылка на твой жж аккаунт, также как и в профиле каждого взаимного френда.
    А вот про отсутствие любви к стендаллонщикам, тут ты прав. Единственный выход, который мне видится, это проставление ссылки на главную стендаллона в своем профиле и анонсы новых постов со ссылкой на свежую страницу стендаллона. Естественно 20-60% френдленты отвалится.
    Единственная проблема, что начав заниматься стендаллоном и поставив вордпресс, лично меня не особенно тянет вообще лезть в жж.
    П.С. Ничего, что я тут многобукв выдал, совсем даже не про индексацию поста, как указано в заголовке?

  11. admin говорит:

    > Ничего, что я тут многобукв выдал, совсем даже не про индексацию поста, как указано в заголовке?

    Да ничо, это тут нормальное явление, какбэ. Достаточно немного полистать здешние комменты.

    > Единственная проблема, что начав заниматься стендаллоном и поставив вордпресс, лично меня не особенно тянет вообще лезть в жж.

    Ну так это тоже нормальная реакция. Я с этими ЖЖ (да и вообще с дядиными блоговыми сервисами) дело не имел практически. Попробовал было это самое жж, увидел всплывающие баннеры с рекламой «обитаемого острова» и немедленно закрыл. Там, правда, еще можно купить себе аккаунт без рекламы, но шли бы они нахер со своими рациональными предложениями. Потому с самого начала сделал все по уму: свой блог, свой домен, свой хостинг. Ну и своя реклама, чоуштам. Думается, именно отсюда и проистекает ненависть тамошних обитателей к стендалонщикам. Жежешниками все эти «абузтимы», пардон, жопу вытирают при каждом удобном случае. А тут нарисовался ты, весь такой умный и в пальто красивый. Ясное дело — ату его, паразита! 🙂

  12. justus говорит:

    Тут под впечатлением вашей беседы, глянул Яндекс вебмастер и обнаружил ссылку с LiveInternet. А чем такая ссылка хуже, чем с МЖ (пардон) с ЖЖ?

  13. admin говорит:

    Ничем не хуже. Обе представляют собой одинаково унылое говно, толку с которого немного.

Обсуждение закрыто.