Как забанить бота Bing ?

Как забанить бота Bing ?, Как убить эту заразу

Сообщений: 6461 Регистрация: Апр 2013

27 Августа 2016 10:54

Ситуация следующая.
Есть сервак на нем пару сайтов с маленьким количеством трафика.
И в последние пару дней сервак тупо лежит. Проверил логи, а оказывается Bing грузит все это дело.
Естественно бот Bing игнорирует robots.txt и поэтому не могу ему задать задержку.

Поэтому в htaccess забанил его маску IP. Но... Эта зараза все равно продолжает посещать сайт (сервак уже не так сильно грузится, но все же) 90% его заходов это 403 ошибка, остальные 10% это нормальный ответ 200

Какие есть ещё варианты "убить Билла" ?

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

Coder

Сообщений: 10798 Регистрация: Мар 2013

27 Августа 2016 11:46

_http://coderhs.com/archive/reduce_server Посмотрите по логам его имя и вставьте в список, по аналогии.

По ip бесполезно - боты используют разные ip для объективной оценки сайта.

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Августа 2016 12:23

Цитата
Coder пишет: По ip бесполезно - боты используют разные ip для объективной оценки сайта.

так я целую маску забанил.
Промониторив около 10000 строчек логов я сделал вывод что бинг работает только с одной маски

но прикол не в этом. Прикол в том что бинг продолжает заходить на сайт с тех IP которые я забанил

INWOXER

Сообщений: 1015 Регистрация: Окт 2014

27 Августа 2016 12:48

В вебмастере бинга есть Скорость обхода сайта. Устанавливайте самое маленькое значение и все.

★★★★★

inwoxer.ru - копии сайтов 800 руб, создание сайтов 200 руб, https сертификаты и другие услуги по СОЧНЫМ ценам.
NEW! СЕО аудит 700 руб и прогон Твиттер 500 руб

★★★★★

Принципал

Сообщений: 1305 Регистрация: Июл 2012

27 Августа 2016 13:06

Цитата
span4bob пишет: 90% его заходов это 403 ошибка

Естественный ответ бана маски. А так, бот то хороший

Coder

Сообщений: 10798 Регистрация: Мар 2013

27 Августа 2016 13:15

Цитата
span4bob пишет: бинг продолжает заходить на сайт с тех IP которые я забанил

Если правильно прописали все в htaccess - такого не могет быть)

Принципал

Сообщений: 1305 Регистрация: Июл 2012

27 Августа 2016 13:18

Цитата
Coder пишет: такого не могет быть)

Может, все зависит от метода блокировки, через лимит итд
например статика типа фавикон может отдаваться итд

Coder

Сообщений: 10798 Регистрация: Мар 2013

27 Августа 2016 13:27

Цитата
Принципал пишет: Может, все зависит от метода блокировки, через лимит итд

Так об чем и речь - правильно прописать - то есть, что бы получить на выходе то, что нужно. Правильно вообще (синтаксис), и правильно по закрытию.

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Августа 2016 14:14

Цитата

Coder пишет:

Цитата
span4bob пишет: бинг продолжает заходить на сайт с тех IP которые я забанил

Если правильно прописали все в htaccess - такого не могет быть)

вот что я прописал
Deny from 207.46.13.

Бинг продолжает заходить с
207.46.13.18
207.46.13.213

Coder

Сообщений: 10798 Регистрация: Мар 2013

#10

27 Августа 2016 14:21

.htaccess - набор инструкций к включению/использованию _http://coderhs.com/archive/htaccess_set

Тимур Леонов

Сообщений: 12 Регистрация: Окт 2017

#11

10 Января 2018 21:33

Цитата

Coder пишет:

Цитата
Принципал пишет: Может, все зависит от метода блокировки, через лимит итд

Так об чем и речь - правильно прописать - то есть, что бы получить на выходе то, что нужно. Правильно вообще (синтаксис)

Синтаксис будет лучше.

WGN

Сообщений: 9914 Регистрация: Июн 2015

#12

11 Января 2018 06:03

Цитата

Тимур Леонов пишет:

Цитата

Coder пишет:

Цитата
Принципал пишет: Может, все зависит от метода блокировки, через лимит итд

Синтаксис будет лучше.

Ещё один кладоискатель:)

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Roman

Сообщений: 2 Регистрация: Июл 2016

#13

23 Января 2018 15:48

Coder пишет:

Цитата
.htaccess - набор инструкций к включению/использованию _coderhs.com/archive/htaccess_set

Благодарю

StackerMan

Сообщений: 1 Регистрация: Ноя 2018

#14

18 Ноября 2018 16:32

Хорошие подсказки

Eye

Сообщений: 22920 Регистрация: Май 2011

#15

18 Ноября 2018 18:08

Цитата
StackerMan пишет: Хорошие подсказки

Да просто не надо 100500 мусорных страниц на сайте устраивать, если он даже 1500 рублей в месяц на норм хостинг не может заработать. От ботов тыриться - себя не уважать...

Изменено: Eye - 18 Ноября 2018 18:08

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
23:38 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 22:56 здесь tinehealth 20:53 Adsense личный опыт 19:40 Приговор для Телеграм. ФАС ставит крест на рекламе 19:39 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 17:46 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 16:37 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта	00:48 Продажа горячих лидов под крипту / Crypto Leads for Sale 23:52 Прошу оценить сайт 23:17 SOCKS5 приватные прокси на 30 дней для PayPal 23:16 Google Voice аккаунты для бесплатных SMS и звонков 23:10 PayPal аккаунты для любых целей 14:37 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 13:57 Profit-smm.ru - (просмотры даром)качественная раскрутка в Vk/Inst/Yt/Tg/Tiktok за наилучшую цену!	00:31 Точные прогнозы на футбол 17:51 Осторожно! Криптовалюта 20:26 37 противникам прививок от COVID грозят уголовные дела 10:01 Какой фильм посмотреть сегодня вечером? 00:15 Ставки на супер тренды в спорте 23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно?