Яндекс сегодня является самой популярной поисковой системой русскоязычного Интернета, которой каждый день пользуется более миллиона человек. Такая популярность объясняется тем, что база Яндекса содержит огромное количество проиндексированных страниц Интернета, содержащих самую разнообразную и порой уникальную информацию. Вкупе с алгоритмом поиска это приводит к высокой релевантности документов, найденных по запросу пользователя и, в конечном счете, к полному удовлетворению информационной потребности пользователя.
На 17.07.09 Яндексом было проиндексировано 3 558 614 259 веб-страниц. Получение информации с сайтов Интернета и отправка ее в базу поисковой системы – задача специального робота-индексатора. Во многом благодаря высокой скорости его работы на сегодняшний день Яндекс имеет такую обширную базу документов для поиска.
История роботов ЯндексаЯндекс появился в 1996 году. Но не в качестве поисковой системы, а в виде нескольких обособленных продуктов. Например, Яndex.Site – программа, производящая поиск на сайте, Яndex.CD – программа поиска документов на сd-диске.
Сама же поисковая система возникла осенью 1997 года. 23 сентября на выставке Softool Яндекс был официально представлен уже в качестве полнофункциональной поисковой системы Интернета. С тех пор объем Рунета непрерывно возрастал, что вынуждало совершенствовать алгоритмы индексирования и поиска информации.
Поэтому в 1999 году был создан новый поисковый робот, который помимо значительного увеличения скорости индексации позволил пользователям искать информацию по разным зонам документа – в URL, в заголовках, в ссылках и т.п.
Сейчас официально анонсировано 11 роботов Яндекса, каждый из которых специализируется на определенной задаче.
Роботы ЯндексаРобот каждой поисковой системы имеет свое имя. Например, у Рамблера - «StackRambler/2.0», у Гугла – «Googlebot/2.1». Яндекс в своем составе имеет несколько специализированных роботов, выполняющих строго определенные задачи. Вот каких роботов Яндекса можно встретить:
Кроме того у Яндекса есть группа роботов, которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
В отличие от роботов первой группы, эти работы не забирают содержимое странички, а фиксируют лишь ответ сервера. Поэтому они делают несколько другой запрос к серверу. Например, посещение робота Dyatel может быть зафиксировано в логах сервера в виде строки следующего содержания:
213.180.193.53 - - "HEAD / HTTP/1.0" 200 0 "-" "Yandex/2.01.000 (compatible; Win16; Dyatel; C)".
Как видно, используется директива Head, запрашивающая только лишь заголовки сервера. В данном случае сайт доступен, работает, так как отдался статусный код 200 ОК.
Также кроме перечисленных роботов, Яндекс имеет в своем составе так называемого «быстрого робота» - частота индексации им документа больше в несколько раз, чем у обычного робота-индексатора. По заявлению главного редактора компании "Яндекс" Елены Колмановской: «Быстрый робот нужен для индексации актуальных документов, наиболее востребованных пользователями».
Узнать, посещал ли сайт быстрый робот, можно только одним путем – в результатах поиска рядом с адресом страницы сайта должна появиться небольшая приписка, обозначающая, сколько часов назад страницу посетил быстрый робот. Например, «5 часов назад».
Процесс индексации документаПроцесс индексации документа роботами поисковых систем в общем случае начинается с добавления сайта в форму на специальной странице. Для Яндекса это страница http://webmaster.yandex.ru/ . Здесь требуется ввести лишь адрес сайта, никаких дополнительных данных вносить не требуется. А вот в Рамблере, например, требуется указывать еще и название сайта, короткое описание регистрируемого сайта и контактное лицо.
Если сайт добавляется впервые, то Яндекс выдаст сообщение:
«Адрес http://example.com/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска»
Если сайт уже посещался роботом-индексатором, то появится сообщение:
Документ http://example.com/ уже проиндексирован и доступен для поиска.
Вы можете посмотреть, какие страницы сайта http://example.com/ доступны в Яндексе к настоящему времени (* страниц).
После добавления нового сайта через форму, его тут же посетит робот Yandex/1.03.003 (compatible; Win16; D). Он определит доступность сайта для индексирования, а также установит, удовлетворяет ли сайт требованиям Яндекса, основным из которых является требование русскоязычности ресурса. Поэтому, как пример, может возникнуть такая ситуация:
Адрес http://www.example.com/ не был внесен в базу Яндекса, так как сайт http://www.example.com/ находится вне доменов стран СНГ, при этом наш робот не смог распознать в нем русский текст.
Если же все хорошо, то в логах сайта можно будет обнаружить строку:
213.180.206.223 - - "GET /robots.txt HTTP/1.1" 404 296 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.206.223 - - "GET / HTTP/1.1" 200 2674 "-" "Yandex/1.03.003 (compatible; Win16; D)"
Видно, что сначала робот обратился к файлу robots.txt чтобы определить, не запрещен ли сайт к индексации. Затем уже обратился к главной странице.
После добавления сайта на странице http://webmaster.yandex.ru/ менее чем через два дня сайт посетит робот-индексатор Yandex/1.01.001 (compatible; Win16; I). И еще через некоторое время сайт будет доступен для поиска в Яндексе.
Возможные препятствия при индексации документаЕсть несколько причин, препятствующих правильной индексации сайта в Яндексе.
Следует отметить, что Яндекс индексирует не только документы html. Кроме них доступными для индексации являются документы следующих типов: PDF (файл Adobe Acrobat), DOC (MS Word), RTF (Reach text format). Также Яндекс индексирует сайты, созданные на основе Flash-технологий. А вот Рамблер индексирует только файлы html, htm, shtml, а динамические страницы и flash сайты индексирует плохо.
Просмотреть, в каком виде хранится web-страничка в базе Яндекса, можно следующим образом.
Неиндексация некоторых элементов страницы может быть вызвана несколькими причинами:
Каждому, кто ведет в Интернете серьезный проект, необходимо понимать основные принципы работы роботов-индексаторов поисковых систем. Знание о том, когда робот приходит на сайт, что индексирует, что не индексирует, позволит избежать многих проблем, прежде всего технических, уже на стадии создания сайта и далее – при его сопровождении.
Чтобы не задаваться вопросом, почему в очередной раз сайт пропал из выдачи по некоторому запросу, прежде всего, стоит проанализировать, а что же на данный момент проиндексировал робот на сайте? Не могло оказаться так, что некоторая информация стала недоступна роботу по тем или иным причинам?
Знание основным моментов процесса индексирования документа позволит правильно произвести регистрацию ресурса в поисковой системе и грамотно осуществлять его дальнейшее продвижение, чтобы пользователи всегда находили Ваш сайт на просторах Интернета.
Просматривая логи сервера, иногда можно наблюдать чрезмерный интерес к сайтам со стороны поисковых роботов. Если боты полезные (например, индексирующие боты ПС) — остается лишь наблюдать, даже если увеличивается нагрузка на сервер. Но есть еще масса второстепенных роботов, доступ которых к сайту не обязателен. Для себя и для вас, дорогой читатель, я собрал информацию и переделал ее в удобную табличку.
Кто такие поисковые роботыПоисковый бот , или как еще их называют, робот, краулер, паук — ни что иное, как программа, которая осуществляет поиск и сканирование содержимого сайтов, переходя по ссылкам на страницах. Поисковые роботы есть не только у поисковиков. Например, сервис Ahrefs использует пауков, чтобы улучшить данные по обратным ссылкам, Facebook осуществляет веб-скраппинг кода страниц для отображения репостов ссылок с заголовками, картинкой, описанием. Веб-скраппинг — это сбор информации с различных ресурсов.
Использование имен пауков в robots.txtКак видим, любой серьезный проект, связанный с поиском контента, имеет своих пауков. И иногда остро стоит задача ограничить доступ некоторым паукам к сайту или его отдельным разделам. Это можно сделать через файл robots.txt в корневой директории сайта. Подробнее про настройку роботса я писал ранее, рекомендую ознакомиться.
Обратите внимание — файл robots.txt и его директивы могут быть проигнорированы поисковыми роботами. Директивы являются лишь рекомендациями для ботов.
Задать директиву для поискового робота можно, используя секцию — обращение к юзер-агенту этого робота. Секции для разных пауков разделяются одной пустой строкой.
User-agent: Googlebot Allow: /
User - agent : Googlebot Allow : / |
Выше приведен пример обращения к основному поисковому роботу Google.
Изначально я планировал добавить в таблицу записи о том, как идентифицируют себя поисковые боты в логах сервера. Но так как для SEO эти данные имеют мало значения и для каждого токена агента может быть несколько видов записей, было решено обойтись только названием ботов и их предназначением.
Поисковые роботы G o o g l eGooglebot | Основной краулер-индексатор страниц для ПК и оптимизированных для смартфонов |
Mediapartners-Google | Робот рекламной сети AdSense |
APIs-Google | Агент пользователя APIs-Google |
AdsBot-Google | Проверяет качество рекламы на веб-страницах, предназначенных для ПК |
AdsBot-Google-Mobile | Проверяет качество рекламы на веб-страницах, предназначенных для мобильных устройств |
Googlebot-Image (Googlebot) | Индексирует изображения на страницах сайта |
Googlebot-News (Googlebot) | Ищет страницы для добавления в Google Новости |
Googlebot-Video (Googlebot) | Индексирует видеоматериалы |
AdsBot-Google-Mobile-Apps | Проверяет качество рекламы в приложениях для устройств Android, работает по тем же принципам, что и обычный AdsBot |
Yandex | При указании данного токена агента в robots.txt, обращение идет ко всем ботам Яндекса |
YandexBot | Основной индексирующий робот |
YandexDirect | Скачивает информацию о контенте сайтов-партнеров РСЯ |
YandexImages | Индексирует изображения сайтов |
YandexMetrika | Робот Яндекс.Метрики |
YandexMobileBot | Скачивает документы для анализа на наличие верстки под мобильные устройства |
YandexMedia | Робот, индексирующий мультимедийные данные |
YandexNews | Индексатор Яндекс.Новостей |
YandexPagechecker | Валидатор микроразметки |
YandexMarket | Робот Яндекс.Маркета; |
YandexCalenda | Робот Яндекс.Календаря |
YandexDirectDyn | Генерирует динамические баннеры (Директ) |
YaDirectFetcher | Скачивает страницы с рекламными объявлениями для проверки их доступности и уточнения тематики (РСЯ) |
YandexAccessibilityBot | Cкачивает страницы для проверки их доступности пользователям |
YandexScreenshotBot | Делает снимок (скриншот) страницы |
YandexVideoParser | Паук сервиса Яндекс.Видео |
YandexSearchShop | Скачивает YML-файлы каталогов товаров |
YandexOntoDBAPI | Робот объектного ответа, скачивающий динамические данные |
Baiduspider | Спайдер китайского поисковика Baidu |
Cliqzbot | Робот анонимной поисковой системы Cliqz |
AhrefsBot | Поисковый бот сервиса Ahrefs (ссылочный анализ) |
Genieo | Робот сервиса Genieo |
Bingbot | Краулер поисковой системы Bing |
Slurp | Краулер поисковой системы Yahoo |
DuckDuckBot | Веб-краулер ПС DuckDuckGo |
facebot | Робот Facebook для веб-краулинга |
WebAlta (WebAlta Crawler/2.0) | Поисковый краулер ПС WebAlta |
BomboraBot | Сканирует страницы, задействованные в проекте Bombora |
CCBot | Краулер на основе Nutch, который использует проект Apache Hadoop |
MSNBot | Бот ПС MSN |
Mail.Ru | Краулер поисковой системы Mail.Ru |
ia_archiver | Скраппит данные для сервиса Alexa |
Teoma | Бот сервиса Ask |
Поисковых ботов очень много, я отобрал только самых популярных и известных. Если есть боты, с которыми вы сталкивались по причине агрессивного и настойчивого сканирования сайтов, прошу в комментариях указать это, я добавлю их также в таблицу.
Друзья, я снова приветствую Вас! Сейчас мы разберем, что такое поисковые роботы и подробно поговорим про поисковый робот google и как с ними дружить.
Сначала надо понимать, что вообще такое поисковые роботы, еще их называют пауки. Какую работу выполняют пауки поисковых систем?
Это программы, которые проверяют сайты. Они просматривают все записи и страницы на вашем блоге, собирают информацию, которую потом передают в базу той поисковой системы, на которую они трудятся.
Не надо знать весь список поисковых роботов, самое главное знать, что у гугла сейчас появились два основных паука, которые называются «панда» и «пингвин». Они борются с некачественным контентом и мусорными ссылками и надо знать как отражать их атаки.
Поисковый робот google «панда» создан для того, чтобы продвигать в поиске только качественный материал. Все сайты с низкопробным контентом понижаются в поисковой выдаче.
Первый раз этот паук появился в 2011 году. До его появления можно было продвинуть любой сайт публикуя в статьях большой объем текста и используя огромный объем ключевых слов. В совокупности эти два приема выводили на верх выдачи поиска не качественный контент, а хорошие сайты понижались в выдаче.
«Панда» сразу навел порядок проверив все сайты и расставил всех по своим заслуженным местам. Хотя она и борется с низкопробным контентом, зато сейчас можно продвинуть даже небольшие сайты с качественными статьями. Хотя раньше такие сайты продвигать было бесполезно, они не могли конкурировать с гигантами у которых большое количество контента.
Сейчас мы с вами разберемся, как можно избежать санкций «панды». Надо сначала понять что ей не нравится. Я уже писал выше, что она борется с плохим контентом, но какой текст для нее плохой, давайте разберемся в этом, чтобы не публиковать такой на своем сайте.
Поисковый робот google стремиться чтобы в этом поисковике выдавалась только качественные материалы для соискателей. Если у вас есть статьи в которых мало информации и они не привлекательные внешне, то срочно перепишите эти тексты, чтобы «панда» не добралась до вас.
Качественный контент может иметь как большой объем, так и маленький, но если паук видит длинную статью с большим количеством информации значит она больше принесет пользы читателю.
Затем надо отметить дублирование, а другими словами плагиат. Если вы думаете что будете переписывать чужие статьи себе на блог, то можете сразу поставить крест на своем сайте. Копирование строго наказывается наложением фильтра, а проверяется плагиат очень легко, я писал статью на тему как проверять тексты на уникальность .
Следующее что надо заметить, это перенасыщение текста ключевыми словами. Кто думает, что напишет статью из одних ключей и займет первое место в выдаче – очень сильно ошибается. У меня есть статья, как проверять страницы на релевантность, прочитайте обязательно.
И еще что может привлечь к вам «панду», так это старые статьи, которые устарели морально и не приносят трафик на сайт. Их нужно обязательно обновить.
Существует так же поисковый робот google «пингвин». Этот паук борется со спамом и мусорными ссылками на вашем сайте. Так же он вычисляет купленные ссылки с других ресурсов. Поэтому, чтобы не бояться этого поискового робота, надо не заниматься закупом ссылок, а публиковать качественный контент, чтобы люди сами на вас ссылались.
Сейчас давайте сформулируем, что надо сделать чтобы сайт глазами поискового робота смотрелся идеально:
Ну вот сейчас вы знаете какую работу выполняют роботы поисковых систем и сможете с ними дружить. А самое главное поисковый робот google и «панда» и «пингвин» вами подробно изучен.
Чтобы самостоятельно сообщить Яндексу о новом сайте, а также следить за его индексированием и позициями в поисковой выдаче, добавьте сайт в Яндекс.Вебмастер .
Проверить это можно несколькими способами:
Чтобы узнать, какие поддомены сайта индексируются, вы можете воспользоваться операторами языка запросов host или rhost .
Какие страницы сайта участвуют в поискеНа основе базы роботов формируются результаты поиска Яндекса. Загруженные в базу робота страницы анализируются с помощью специального алгоритма. Если алгоритм определяет, что содержимое страницы достаточно полно отвечает на поисковый запрос (то есть является релевантной), то такая страница может появиться в результатах поиска. Таким образом, не все страницы сайта можно увидеть в поиске Яндекса.
Чтобы узнать, какие страницы вашего сайта участвуют в поиске , перейдите на страницу Индексирование → Страницы в поиске в Яндекс.Вебмастере.
Иногда ранее участвующие в поиске страницы могут исключаться из результатов поиска . Чтобы посмотреть список исключенных страниц вашего сайта, перейдите на страницу Индексирование → Страницы в поиске в Яндекс.Вебмастере.
Почему страницы долгое время не появляются в поискеЕсли новые страницы длительное время не появляются в поиске, убедитесь, что:
Проверить, известно ли роботу о новой странице и в каком статусе она находится, можно с помощью инструмента . Чтобы сообщить роботу о появлении новых страниц, .
Изменение позиций сайта в результатах поискаРезультаты поиска не статичны и могут постоянно изменяться. Это может происходить по нескольким причинам:
Произошло регулярное обновление поисковой базы
Характеристики сайтов постоянно пересчитываются на основании свежих данных о страницах, а также их популярности среди пользователей. Вес факторов ранжирования и релевантная запросу страница могут меняться, страницы сайта могут выпадать из поискового индекса. Вследствие этого позиции в результатах поиска также могут меняться.
Произошли изменения на других сайтах, которые находились в поиске по интересующим вас запросам
Ваш сайт мог естественным образом изменить позиции в выдаче за счет роста релевантности других ресурсов по этим же запросам (владельцы других сайтов также вносят изменения). Если первые позиции в поиске заняли подозрительные сайты, сообщите об этом через .
Изменился адрес сайта или используемый протокол
В течение нескольких обновлений поисковой базы после смены адреса допускается понижение позиций сайта в результатах поиска (старые страницы сайта пропадают из поискового индекса, поэтому позиции могут снизиться по соответствующим запросам). Если на сайте настроен 301 редирект, ознакомьтесь с .
Страницы, ранее находившиеся по запросам, пропали из поиска
Произошли другие изменения на вашем сайте
Любое изменение на сайте может влиять на его позиции в результатах поиска. Например, изменение структуры сайта, адреса (URL) или содержимого страницы (или его представления), которая находилась по интересующим вас запросам.
Страницы сайта считаются некачественными
Проверить это можно в Яндекс.Вебмастере на странице Диагностика → Диагностика сайта . Чтобы улучшить сайт, воспользуйтесь рекомендациями:
Алгоритм проверяет страницы с каждым обновлением поисковой базы, поэтому некоторые из них могут исключаться из поиска. Если страница не участвует в поиске уже длительное время, это означает, что на текущий момент она недостаточно хорошо отвечает на запросы пользователей.
Вопросы и ответыВ результатах поиска отображаются ссылки на внутренние фреймы сайта
В этом случае перед загрузкой страницы с помощью консоли браузера проверьте, открыт ли родительский фрейм с навигацией. Если закрыт, откройте его.
Мой сервер не выдает last-modified
Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:
в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
при сортировке по дате сайт не будет виден большинству пользователей;
робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
Как кодировка влияет на индексирование
Тип используемой на сайте кодировки не влияет на индексирование сайта. Также, если ваш сервер не передает в заголовке кодировку, робот Яндекса определит кодировку самостоятельно.
Можно ли управлять частотой переиндексирования с помощью директивы Revisit-After?
Нет. Робот Яндекса ее игнорирует.
Яндекс индексирует сайт на иностранном домене?
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подписаться
Как функционируют роботы поисковых системПоисковый робот (паук, бот) представляет собой небольшую программу, способную без участия оператора посещать миллионы web-сайтов и сканировать гигабайты текстов. Считывание страниц и сохранение их текстовых копий – это первая стадия индексации новых документов. Следует отметить, что роботы поисковых систем не осуществляют какую-либо обработку полученных данных. В их задачу входит только сохранение текстовой информации.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Список поисковых роботовИз всех поисковиков, занимающихся сканированием Рунета, самой большой коллекцией ботов располагает Яндекс. За индексацию отвечают следующие боты:
Главный поисковый робот Google занимается сбором текстовой информации. В основном он просматривает html-файлы, с определенной периодичностью анализирует JS и CSS. Способен воспринимать любые типы контента, разрешенные к индексации. ПС Гугл располагает пауком, контролирующим индексацию изображений. Есть также поисковый робот – программа, поддерживающая функционирование мобильной версии поиска.
Увидеть сайт глазами поискового роботаЧтобы исправить погрешности кода и прочие недочеты, вебмастер может узнать, как видит сайт поисковый робот. Эту возможность предоставляет ПС Google. Потребуется перейти в инструменты для вебмастеров, а затем кликнуть на вкладку «сканирование». В открывшемся окне нужно выбрать строчку «просмотреть как Googlebot». Далее нужно завести адрес исследуемой страницы в поисковую форму (без указания домена и протокола http://).
Выбрав команду «получить и отобразить», вебмастер сможет визуально оценить состояние страницы сайта. Для этого понадобится кликнуть по галочке «запрос на отображение». Откроется окно с двумя версиями web-документа. Вебмастер узнает, как видит страницу обычный посетитель, и в каком виде она доступна для поискового паука.
Совет!Если анализируемый web-документ еще не проиндексирован, то можно воспользоваться командой «добавить в индекс» >> «сканировать только этот URL». Паук проанализирует документ через несколько минут, в ближайшем времени web-страница появится в выдаче. Месячный лимит запросов на индексацию составляет 500 документов.
Как повлиять на скорость индексированияВыяснив, как работают поисковые роботы, вебмастер сможет гораздо результативнее продвигать свой сайт. Одной из основных проблем многих молодых web-проектов является плохая индексация. Роботы поисковых систем неохотно посещают неавторитетные интернет ресурсы.
Установлено, что скорость индексации напрямую зависит от того, с какой интенсивностью обновляется сайт. Регулярное добавление уникальных текстовых материалов позволит привлечь внимание поисковика.
Для ускорения индексации можно воспользоваться соцзакладками и сервисом twitter. Рекомендуется сформировать карту сайта Sitemap и загрузить ее в корневую директорию web-проекта.