Не совсем понятные боты сканирующие ресурсы сайтов

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 01:53

Недавно столкнулась с интересным явлением. Сайты очень часто стали посещать боты каких-то хостинговых компаний из Германии, США, Англии и даже Нидерландов. Сканируют каждую страничку. Особой нагрузки от них нет (большие интервалы между запросами - VDS их спокойно "съедает" ) , но интересно для чего это делается? Вот пример IP адреса одной из них - 173.242.125.191, бот оттуда на одном из сайтов буквально живет.
При добавлении материалов стал приходить еще один бот с этого сайта - _http://www.gigaalert.com (Англия). Также очень интересно для чего он сканирует только вновь добавляемые страницы?

Изменено: Miss Belka - 3 Мая 2012 01:55

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

staiki

Сообщений: 601 Регистрация: Ноя 2010

3 Мая 2012 03:32

А как Вы определили,что это бот?Дайте название агента бота.

http://staiki.net/index.php? -Форум Компьютерная Помощь

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:48

боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:55

А на тему 173.242.125.191

Здесь инструкция как его отключить))) только вопрос зачем???

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Miss Belka

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 11:56

Цитата
staiki пишет: А как Вы определили,что это бот?Дайте название агента бота.

Названия у бота нет. Его определяет специальный компонент сайта, к тому же видно, что запросы порой генерируются с частотой в секунду или меньше. При этом страницы находятся в доступе очень далеко друг от друга. На поведение человека явно не похоже, следовательно - бот.

Цитата

ub5080313 пишет:
боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

Обычно оставляют. Так, например, Гугл, Яша, Мэйл и т.п. Но не эти.

Цитата
ub5080313 пишет: А на тему 173.242.125.191 Здесь инструкция как его отключить))) только вопрос зачем??? http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Majestic по-моему ни при чем. По этому IP определяется хостинговая компания в США. Понятно, что бот может просто запущен с их хостинга, только все равно не понятно с какой целью?

ub5080313 Сообщений: 254 Регистрация: Апр 2010	#6 3 Мая 2012 12:27 Ну я просто всобачил айпишник в браузер и меня закинуло на страницу маджестика))) Что-то подсказывает что все-таки он при чем))) А вообще попыток сделать новый поисковик люди как-то не оставляют, вот и появляются новые боты

01.12.2023 23:56	Совсем нет посетителей на сайте
13.05.2021 17:35	Непонятные посещения сайта раз в две-три минуты
01.06.2020 11:37	Проблемы с сайтом и непонятные причины
10.04.2020 15:35	Непонятные страницы в Яндекс вебмастер
02.05.2019 23:26	Непонятные ссылки на сайте!

Новые темы	Объявления	Свободное общение
15:08 Adtrafico - Правильная партнёрская сеть под бурж трафик 21:18 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 21:06 Кто как борется с ботами ПФ? 16:51 Buymedia.biz - рекламная сеть 13:36 Партнерская программа OWNR WALLET 14:10 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:52 Партнерская программа Xoffers с прямыми офферами в вертикалях форекс, крипта и бинарные опционы.	10:48 DualCoin - быстрый криптовалютный обменник 21:39 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 18:50 Европейский эквайринг 18:36 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 19:40 Высококачественные и надежные прокси-серверы и 5G 16:16 ZennoPoster - софт №1 для автоматизации любых SEO задач! 15:55 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust	02:05 Точные прогнозы на футбол 15:43 Заказать телефонный флуд. 12:05 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 11:25 Флуд звонками 11:40 Кто сделает прогон для адалт сайта? 09:25 Добро пожаловать в цифровой мир... 10:31 Видимо, похороны СУПРа уже прошли как-то по-тихому