Как заблокировать бота Мэйл.ру

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 13:27

Всем привет! Последний месяц идет стремительная нагрузка на хостинг поисковыми роботами.Хостер сегодня прислал такой отчет

Цитата
649 19.08% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 324 9.52% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 92 2.70% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Это нагрузка на сайт с 12 ночи до часа дня. В роботс прописала команду

Цитата
User-agent: * Crawl-delay: 120

Вчера нагрузка была такой

Цитата
2123 15.73% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 1072 7.94% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 912 6.76% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

В Яндексе и гугле уменьшила скорость обхода.Подскажите, как забанить бота мэйл ру, так как для моего сайта он несет только нагрузку, а не посетителей.

Лучшая тизерка для медицинских и женских сайтов

WGN

Сообщений: 9908 Регистрация: Июн 2015

29 Августа 2018 14:35

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 15:12

Цитата

WGN пишет:

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

Хостер так порекомендовал.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 15:32

Ольга ,
Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

Рекомендую хостинг и VPN в Европе от 56р.
Рекомендую хостинг в России от 220р.
Мой Сайт-Блог Климов Дмитрий .

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:34

Цитата
Diman_TS пишет: Ольга , Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

разве это означает количество запросов в секунду, а не таймаут?

Цитата
User-agent: Yandex Crawl-delay: 2.0 # задает тайм-аут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 16:38

Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:41

Цитата

Diman_TS пишет:
Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Eye

Сообщений: 22274 Регистрация: Май 2011

29 Августа 2018 17:24

Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 17:31

Цитата
Eye пишет: Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

У меня хостер нормальный, бегет. Нагрузка на стандартных тарифах у них одинаковая.

Eye

Сообщений: 22274 Регистрация: Май 2011

#10

29 Августа 2018 17:32

Цитата
Ольга пишет: хостер нормальный, бегет.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#11

29 Августа 2018 17:58

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

WGN

Сообщений: 9908 Регистрация: Июн 2015

#12

29 Августа 2018 18:06

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Иоанн Грозный

Сообщений: 1139 Регистрация: Фев 2014

#13

29 Августа 2018 18:20

Цитата
Ольга пишет: У меня хостер нормальный, бегет.

Установка, настройка, наполнение сайта на SMC WordPress, PrestaShop.
WordPress***WordPress

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#14

29 Августа 2018 18:52

Цитата

WGN пишет:

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Нет, я имел ввиду за одну секунду делает 120 запросов.

Ольга , Вот список ботов майл.ру _https://help.mail.ru/webmaster/indexing/robots/robot_log

Ольга

Сообщений: 674 Регистрация: Апр 2017

#15

30 Августа 2018 08:38

Цитата

Diman_TS пишет:

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

Судя по всему, помогло.

Прикрепленные файлы

2018-08-30_08-33-55.png (8.12 КБ) [ Скачать ]

Похожие темы:

28.05.2024 19:21	Кто как борется с ботами ПФ?
24.12.2023 11:00	Работа браузера сафари
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
04.01.2021 19:02	Хотел посмотреть как работают поисковики, за пол года 0 результата, хочу получить совет
21.02.2020 19:00	Сколько времени должно пройти, чтобы ссылки от прогона сработали?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:15 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 22:13 Trafee.com – эффективная монетизация вашего дейтинг трафика 22:03 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 17:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 16:27 Как вывести сайт в ТОП Google в конкурентной тематике? Рецепт: ссылки плюс низкочастотные длинные ключи 10:21 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 09:29 Продвижение по ключам	23:10 E-currency.exchange — ваш помощник в мире обменов 21:57 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365 18:04 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 15:33 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 12:47 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 12:27 Bankomat001 - Сервис обмена электронных валют 10:16 HH.ru Работадателя вериф	22:19 С юмором по жизни! 13:34 Компьютерная мышь 13:13 Куплю проигрышные букмекерские аккаунты 22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb