Очень много посещений на сайте за короткое время (боты)
Привет всем.
Раньше такого не замечал, во всяком случае не так часто.
Раз в 2 - 3 дня заходят множество "посетителей" за очень короткое время.
Все одновременно или с короткими промежутками.
Прошлый раз я их успел словить в конце их активности.
Было видно, что запросы идут вдоль всего экватора, порядка 50 точек и каждая проходит по всей навигации моего сайта.
В итоге получается около 400 посещений за 15 - 20 минут, потом тишина 2 - 3 дня.
По моим статистикам показывает что это Google-Bot.
Во всяком случае количество и время примерно совпадают.
Но я чёт сомневаюсь что это реально от Гугля такое идёт.
Или может кто-то в курсе, что это действительно и как с ним эффективно бороться.
проверь ип адрса делов то
проверить IP не сложно, а что это даст?
Как я писал, происходит одновременная атака из многих точек вдоль всего экватора. из разных стран.
Это уже будет несколько десятков, а то и пол сотни различных адресов за раз.
Все по одному отлавливать бессмысленно.
Я думал что-то типа контроля частоты заходов и блокировки.
Скажем, если заходят на сайт в течении минуты 10 различных посетителей, или если один и быстро скачет по навигации,
то закрыть всем или ему одному доступ и их IP прислать мне.
Возможно есть уже и готовые решения, я не знаю.
У гугла(идругих поисковиков) есть список своих айпи адресов, можно проверить, есть ли их боты в списке или нет. Я лично не помню, что бы вот так со всех стран, и сразу, атаковали поисковые боты, не помню не одного лог файла что смотрел, где бы гугл боты вели себя таким образом. Скорей всего это DDOS атака, которую прерывает твой хостер, раз не длится долго. Сделай запрос к хостеру, он должен знать об этом, так как тоже логи ведёт...
и как с ним эффективно бороться.
У хостеров уже есть, система защиты от DOS/DDOS атак, но можешь порыть на сайте твоего движка какие доп плагины по защите.
Бороться же путём блокировки айпи практически бессмысленно, и чревато потерей посетителей. Можно конечно блокировать по айпи, с проверкой айпишников поисковых ботов(белый список), закрывая их на 5-10* минут, если у тебя посетителей не так много, но если много, это уже не рекомендую, из за статичных айпи. Если клиентура только на германию, то можно конечно закрыть все айпи разрешив только германию, но это тоже не панацея, так как многие пользуются VPN/прокси серверами, и нет гарантии что хакеры так же не будут атаковать через айпи германии.
ПС. Я лично для одного сайта клиента делал подобную защиту, резал все айпи запросы кроме германии и поисковиков, так как сайт был только на германию ориентирован, а ломать пытались со всех континентов. Это помогло по началу, но через несколько месяцев пошли попытки взлома через айпи германии, которые я тоже блокировал на 5 минут, если были подозрительные... Но вскоре убрал защиту, так как появились жалобы от некоторых клиентов, что не могут иногда на сайт попасть, и мой клиент отказался от такой защиты, просто перенёс на более дорогой хостинг, с улучшенной защитой, плюс хостер там чего то экстра сделал за доп плату, через свой сервер, и атаки прекратились, режутся на корню сервера.
В любом случае можешь погуглить на эту тему, как защитить твой сайт от атак, в сети полно всяких рекомедаций...
лично не помню, что бы вот так со всех стран, и сразу, атаковали поисковые боты
Я тоже не встречал такого.
Но уже пару раз наталкивался на информацию о подделках, когда жуликоватые боты под поисковики косят.
Но у них тогда есть другие отличия от реальных поисковиков, к примеру IPs.
Скорей всего это DDOS атака, которую прерывает твой хостер
Скорей всего что да, так как уже три раза подряд запросы прекращаются на ровно 400.
2 - 3 из них реальные посетители из Германии, а остальные вдоль экватора все.
Я кстати отсеиваю заграницу полностью со своих сайтов, закрываю определённые IPs,
Попыток взломов стало значительно меньше, но всё равно всех таким образом не закроешь.
Я работаю только с Германией, хоть мои клиенты, хоть поставщики или производители,
а из-за границы идёт в основном только спам и хакеры. так что я их стараюсь отшивать по возможности.
Происходят иногда попытки взлома и через IPs Германии, но это относительно редко.
