Не совсем понятные боты сканирующие ресурсы сайтов

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 01:53

Недавно столкнулась с интересным явлением. Сайты очень часто стали посещать боты каких-то хостинговых компаний из Германии, США, Англии и даже Нидерландов. Сканируют каждую страничку. Особой нагрузки от них нет (большие интервалы между запросами - VDS их спокойно "съедает" ) , но интересно для чего это делается? Вот пример IP адреса одной из них - 173.242.125.191, бот оттуда на одном из сайтов буквально живет.
При добавлении материалов стал приходить еще один бот с этого сайта - _http://www.gigaalert.com (Англия). Также очень интересно для чего он сканирует только вновь добавляемые страницы?

Изменено: Miss Belka - 3 Мая 2012 01:55

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

staiki

Сообщений: 601 Регистрация: Ноя 2010

3 Мая 2012 03:32

А как Вы определили,что это бот?Дайте название агента бота.

http://staiki.net/index.php? -Форум Компьютерная Помощь

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:48

боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:55

А на тему 173.242.125.191

Здесь инструкция как его отключить))) только вопрос зачем???

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Miss Belka

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 11:56

Цитата
staiki пишет: А как Вы определили,что это бот?Дайте название агента бота.

Названия у бота нет. Его определяет специальный компонент сайта, к тому же видно, что запросы порой генерируются с частотой в секунду или меньше. При этом страницы находятся в доступе очень далеко друг от друга. На поведение человека явно не похоже, следовательно - бот.

Цитата

ub5080313 пишет:
боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

Обычно оставляют. Так, например, Гугл, Яша, Мэйл и т.п. Но не эти.

Цитата
ub5080313 пишет: А на тему 173.242.125.191 Здесь инструкция как его отключить))) только вопрос зачем??? http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Majestic по-моему ни при чем. По этому IP определяется хостинговая компания в США. Понятно, что бот может просто запущен с их хостинга, только все равно не понятно с какой целью?

ub5080313 Сообщений: 254 Регистрация: Апр 2010	#6 3 Мая 2012 12:27 Ну я просто всобачил айпишник в браузер и меня закинуло на страницу маджестика))) Что-то подсказывает что все-таки он при чем))) А вообще попыток сделать новый поисковик люди как-то не оставляют, вот и появляются новые боты

Новые темы	Объявления	Свободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 08:23 Rotapost прикрыли! Чем пользоваться? 17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	20:45 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 17:06 TETChange-Обменник криптовалют 14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница) 14:43 Onechange.me — надежный обменник криптовалют и фиатных средств 14:03 Quix Email - сервис почтовых активаций 13:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense?
08:23 Rotapost прикрыли! Чем пользоваться?
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг

20:45 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
17:06 TETChange-Обменник криптовалют
14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница)
14:43 Onechange.me — надежный обменник криптовалют и фиатных средств
14:03 Quix Email - сервис почтовых активаций
13:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

01.12.2023 23:56	Совсем нет посетителей на сайте
13.05.2021 17:35	Непонятные посещения сайта раз в две-три минуты
01.06.2020 11:37	Проблемы с сайтом и непонятные причины
10.04.2020 15:35	Непонятные страницы в Яндекс вебмастер
02.05.2019 23:26	Непонятные ссылки на сайте!