Агрессивное сканирование google ботами

PENN.ST.

Создатель
Регистрация
18 Мар 2016
Сообщения
18
Реакции
3
Всем доброго времени суток.

90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.
 
Всем доброго времени суток.

90+ дней назад гугл-боты создавали нагрузку на сервер и я ограничил скорость сканирования сайта. Пару дней назад ограничение спало и за последние два дня ботом с ip адреса 66.249.64.199 поступило 6,4565 CPU, %, что сильно нагрузило сервер.

Мне интересно он и дальше так же агрессивно будет сканировать или снова будет требоваться ограничивать скорость сканирования?

Отмечу, что ранее такого не замечалось и все было нормально. Никогда до этого момента трех месячной давности сайт на превышал ограничения серверных минут хостинга. А потом стало как помазано и гугл боты стали так рьяно сканировать сайт.

радуйтесь, что вас гугл "любит" - многие об этом только мечтают :)

а из решения: лучше помощнее сервер взять и развивать бизнеса ещё быстрее

успехов!
 
а как вы определили что это гугло боты, а не кто-то, кто прикинулся юзерагентом гугло-бота? айпишники проверяли кому принадлежат?
 
а как вы определили что это гугло боты, а не кто-то, кто прикинулся юзерагентом гугло-бота? айпишники проверяли кому принадлежат?

Зашел на Для просмотра ссылки Войди или Зарегистрируйся и вбил в поиск 66.249.64.199
Выдало что: Страна регистрации United States / США | Организация Google LLC

Или это может быть не гугл бот и его можно кинуть в черный список?
 
Все запросы с одного айпишника? И какая тогда частота запросов?
 
Все запросы с одного айпишника? И какая тогда частота запросов?

Нет, сканируют еще другие ip адреса 66.249.64.ххх , просто именно 66.249.64.199 создает самую высокую нагрузку на сервер.

Как я могу или где я могу посмотреть частоту запросов?
 
Нет, сканируют еще другие ip адреса 66.249.64.ххх , просто именно 66.249.64.199 создает самую высокую нагрузку на сервер.

Как я могу или где я могу посмотреть частоту запросов?
попробуйте лог анализатором Screaming Frog Log File Analyser
оставьте только ботов гугла
 
Назад
Сверху