Для того чтоб индексировать новые сайты поисковые системы выпускают в Мировую паутину так называемых "пауков". Их ещё называют поисковыми роботами. Они переходят от ссылки к ссылке и добавляют в базу данных всю информацию о страницах сайта.
Каждый поисковый бот имеет ограниченный круг задач и посещает сайт с определенной целью.

Зачем заходил бот Яндекса можно узнать по логам статистики сервера, посмотрев строку User-agent:

Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;

Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;

Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;

Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта
(favicon);

Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при
открытии страницы по ссылке “Найденные слова”;

Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к
странице при добавлении ее через форму “Добавить URL”;

YaDirectBot/1.0 (compatible; Win 16; I) – индексация страниц сайта,
участвующего в рекламной сети Яндекса;

YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий
xml-файлы для поиска по блогам;

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров
Яндекс-Новостей.

В Яндексе имеются специальные “простукивалки” для проверки
доступности страниц:

Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких
дней, сайт снимается с публикации в каталоге до тех пор, пока снова
не начинает отвечать на запросы;

Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ.
Проверяет корректность ссылок из объявлений перед модерацией;

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.


Поисковые роботы Google имеет название "Googlebot".

Вероятно, многими веб-мастерами было замечено то, что у Google появилось две разновидности поисковых роботов. Оба они индексируют страницы.

- Обычный робот Google: 66.249.64.47 - "GET /robots.txt HTTP/1.0" 404 1227 "-" "Googlebot/2.1"

- Дополнительный робот Google: 66.249.66.129 - "GET / HTTP/1.1" 200 38358 "-" "Mozilla/5.0"

Различия между этими роботами.

Новый робот называется "Mozilla/5.0", это означает, что Googlebot сможет теперь понимать протокол HTTP 1.1. Это ещё значит, что новый поисковой робот сможет понимать намного больше разновидностей контента, включая сжатые страницы.

Поисковые роботы AdWords

В Google используются специальные роботы для сканирование страниц на пригодность размещения на них рекламы и для определения тематики сайта (также для рекламы). Вместе с тем они служат для определения качества вашей страницы, для назначения цены за рекламу. Чем выше качество - тем дороже.

Добавить новый Поиск

3.20 Copyright (C) 2007 Alain Georgette / Copyright (C) 2006 Frantisek Hliva. All rights reserved."