EUR 67.21 USD 63.30
Курс валют на 10.12.2016

В Гугл рассказали о работе поискового робота

Как Гугл определяют, когда поисковый робот должен остановить или замедлить процесс сканирования ресурса? На сей вопрос дал ответ Гэри Ильес на конференции SMX East 2014. Судя по словам представителя интернет-гиганта, в случае сканирования сайтов Гугл берет в расчет условно выражаясь очевидные сигналы, кроме них участвуют в своеобразной проверке и множество других аспектов, но особенно важными является время соединения и непосредственно кода состоянии НТТР.

Гугл ведет отслеживание, какое время у него занимает подключение к серверу или же конкретной веб-страничке. Допустим, время соединения становится только больше, тогда поисковый робот попросту оставляет попытки подключиться и тем самым замедляет либо прекращает сканировать ресурс. Представитель компании отметил, что они бы не хотели, чтобы сканирование в итоге выливалось в какую-то проблему на сервере.

И еще, сканирование сайта претерпевает остановку либо замедление в ситуации, когда сервер в свою очередь производит возврат кода статуса НТТР в соответствии с диапазоном 5хх. Собственно, такого плана коды НТТР первым делом свидетельствуют о том, что в процессе обработки запроса имела место быть какая-то ошибка внутреннего характера. Далее Гугл завершает любые обращения к серверу, дабы не вызывать любых дополнительных проблем применительно к деятельности пользователя. Что же, как в первом, так и во втором случаях поисковый робот Гугл по прошествии определенного промежутка времени возвращается на сайт и заканчивает сканирование, закончил Гэри Ильес.
Технологии
Добавил: avtor2 9-10-2014, 22:43

ЧИТАЙТЕ ТАК ЖЕ
ДРУГИЕ НОВОСТИ
ИНТЕРЕСНЫЕ НОВОСТИ
Добавить комментарий



Кликните на изображение чтобы обновить код, если он неразборчив



НОВОСТИ ПАРТНЕРОВ
ПОСЛЕДНИЕ НОВОСТИ