Не совсем понятные боты сканирующие ресурсы сайтов

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 01:53

Недавно столкнулась с интересным явлением. Сайты очень часто стали посещать боты каких-то хостинговых компаний из Германии, США, Англии и даже Нидерландов. Сканируют каждую страничку. Особой нагрузки от них нет (большие интервалы между запросами - VDS их спокойно "съедает" ) , но интересно для чего это делается? Вот пример IP адреса одной из них - 173.242.125.191, бот оттуда на одном из сайтов буквально живет.
При добавлении материалов стал приходить еще один бот с этого сайта - _http://www.gigaalert.com (Англия). Также очень интересно для чего он сканирует только вновь добавляемые страницы?

Изменено: Miss Belka - 3 Мая 2012 01:55

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

staiki

Сообщений: 601 Регистрация: Ноя 2010

3 Мая 2012 03:32

А как Вы определили,что это бот?Дайте название агента бота.

http://staiki.net/index.php? -Форум Компьютерная Помощь

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:48

боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

ub5080313

Сообщений: 254 Регистрация: Апр 2010

3 Мая 2012 04:55

А на тему 173.242.125.191

Здесь инструкция как его отключить))) только вопрос зачем???

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Miss Belka

Сообщений: 688 Регистрация: Апр 2010

3 Мая 2012 11:56

Цитата
staiki пишет: А как Вы определили,что это бот?Дайте название агента бота.

Названия у бота нет. Его определяет специальный компонент сайта, к тому же видно, что запросы порой генерируются с частотой в секунду или меньше. При этом страницы находятся в доступе очень далеко друг от друга. На поведение человека явно не похоже, следовательно - бот.

Цитата

ub5080313 пишет:
боты обычно оставляют подписанный юзерагент:
http://ru.wikipedia.org/wiki/User_Agent
А на тему gigaalert... так наверное кому-то очень интересно содержимое Ваших страниц, вот он и подписался на обновление)
Сканировать могут еще боты, которые грабят контент, собирают базы под хрумак или прокликивающие рекламу, ведущую на Ваш сайт (но они обычно маскируются под пользовательские юзерагенты)

Обычно оставляют. Так, например, Гугл, Яша, Мэйл и т.п. Но не эти.

Цитата
ub5080313 пишет: А на тему 173.242.125.191 Здесь инструкция как его отключить))) только вопрос зачем??? http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Majestic по-моему ни при чем. По этому IP определяется хостинговая компания в США. Понятно, что бот может просто запущен с их хостинга, только все равно не понятно с какой целью?

ub5080313 Сообщений: 254 Регистрация: Апр 2010	#6 3 Мая 2012 12:27 Ну я просто всобачил айпишник в браузер и меня закинуло на страницу маджестика))) Что-то подсказывает что все-таки он при чем))) А вообще попыток сделать новый поисковик люди как-то не оставляют, вот и появляются новые боты

Новые темы	Объявления	Свободное общение
17:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 17:18 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 17:05 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 17:00 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 16:53 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 16:31 Плагин ответа 12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?	04:25 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 16:37 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 16:10 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 15:45 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:21 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:19 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:16 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата	01:23 Точные прогнозы на футбол 18:23 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 08:25 Отвратительное поведение 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...

Новые темы

Объявления

Свободное общение

17:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
17:18 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
17:05 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
17:00 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
16:53 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал)
16:31 Плагин ответа
12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?

04:25 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
16:37 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
16:10 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
15:45 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
11:21 Trustpilot Reviews | Подниму рейтинг вашей компании
11:19 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
11:16 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата

01:23 Точные прогнозы на футбол
18:23 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
08:25 Отвратительное поведение
11:00 Кто может дать инвайт на WebMasters?
17:58 Список обновленных тем пуст...

01.12.2023 23:56	Совсем нет посетителей на сайте
13.05.2021 17:35	Непонятные посещения сайта раз в две-три минуты
01.06.2020 11:37	Проблемы с сайтом и непонятные причины
10.04.2020 15:35	Непонятные страницы в Яндекс вебмастер
02.05.2019 23:26	Непонятные ссылки на сайте!