Не совсем понятные боты сканирующие ресурсы сайтов

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 01:53

Недавно столкнулась с интересным явлением. Сайты очень часто стали посещать боты каких-то хостинговых компаний из Германии, США, Англии и даже Нидерландов. Сканируют каждую страничку. Особой нагрузки от них нет (большие интервалы между запросами - VDS их спокойно "съедает" ) , но интересно для чего это делается? Вот пример IP адреса одной из них - 173.242.125.191, бот оттуда на одном из сайтов буквально живет.
При добавлении материалов стал приходить еще один бот с этого сайта - _http://www.gigaalert.com (Англия). Также очень интересно для чего он сканирует только вновь добавляемые страницы?

Изменено: Miss Belka - 3 Мая 2012 01:55

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

staiki

Сообщений: 601 Регистрация: Ноя 2010

3 Мая 2012 03:32

А как Вы определили,что это бот?Дайте название агента бота.

http://staiki.net/index.php? -Форум Компьютерная Помощь

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:48

боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:55

А на тему 173.242.125.191

Здесь инструкция как его отключить))) только вопрос зачем???

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Miss Belka

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 11:56

Цитата
staiki пишет: А как Вы определили,что это бот?Дайте название агента бота.

Названия у бота нет. Его определяет специальный компонент сайта, к тому же видно, что запросы порой генерируются с частотой в секунду или меньше. При этом страницы находятся в доступе очень далеко друг от друга. На поведение человека явно не похоже, следовательно - бот.

Цитата

ub5080313 пишет:
боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

Обычно оставляют. Так, например, Гугл, Яша, Мэйл и т.п. Но не эти.

Цитата
ub5080313 пишет: А на тему 173.242.125.191 Здесь инструкция как его отключить))) только вопрос зачем??? http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Majestic по-моему ни при чем. По этому IP определяется хостинговая компания в США. Понятно, что бот может просто запущен с их хостинга, только все равно не понятно с какой целью?

ub5080313 Сообщений: 254 Регистрация: Апр 2010	#6 3 Мая 2012 12:27 Ну я просто всобачил айпишник в браузер и меня закинуло на страницу маджестика))) Что-то подсказывает что все-таки он при чем))) А вообще попыток сделать новый поисковик люди как-то не оставляют, вот и появляются новые боты

01.12.2023 23:56	Совсем нет посетителей на сайте
13.05.2021 17:35	Непонятные посещения сайта раз в две-три минуты
01.06.2020 11:37	Проблемы с сайтом и непонятные причины
10.04.2020 15:35	Непонятные страницы в Яндекс вебмастер
02.05.2019 23:26	Непонятные ссылки на сайте!

Новые темы	Объявления	Свободное общение
15:59 AI под надзором. Минцифры готовят клеймо для контента 15:57 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 22:32 Gambling Craft - гемблинг по белому 00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 23:11 APK на паузе. Google убивает быстрый конверт 16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	15:29 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 14:20 Вериф аккаунты АВИТО + платежи 14:17 Swapwatch.org — Мониторинг криптовалютных обменников 08:01 HH.ru Работадателя вериф 01:42 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 23:12 [MOBILE 4G/LTE PROXY] Приватные Мобильные Прокси 30 Дней 10$ Безлим/ Подходят для всех сайтов 22:38 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	16:00 Панель Кнопки соцсетей 15:54 молодильные яблоки и живая вода 14:03 Огородники 09:22 Точные прогнозы на футбол 18:12 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 18:11 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:28 С юмором по жизни!