Как заблокировать бота Мэйл.ру

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 13:27

Всем привет! Последний месяц идет стремительная нагрузка на хостинг поисковыми роботами.Хостер сегодня прислал такой отчет

Цитата
649 19.08% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 324 9.52% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 92 2.70% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Это нагрузка на сайт с 12 ночи до часа дня. В роботс прописала команду

Цитата
User-agent: * Crawl-delay: 120

Вчера нагрузка была такой

Цитата
2123 15.73% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 1072 7.94% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 912 6.76% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

В Яндексе и гугле уменьшила скорость обхода.Подскажите, как забанить бота мэйл ру, так как для моего сайта он несет только нагрузку, а не посетителей.

Лучшая тизерка для медицинских и женских сайтов

WGN

Сообщений: 9907 Регистрация: Июн 2015

29 Августа 2018 14:35

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 15:12

Цитата

WGN пишет:

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

Хостер так порекомендовал.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 15:32

Ольга ,
Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

Рекомендую хостинг и VPN в Европе от 56р.
Рекомендую хостинг в России от 220р.
Мой Сайт-Блог Климов Дмитрий .

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:34

Цитата
Diman_TS пишет: Ольга , Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

разве это означает количество запросов в секунду, а не таймаут?

Цитата
User-agent: Yandex Crawl-delay: 2.0 # задает тайм-аут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 16:38

Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:41

Цитата

Diman_TS пишет:
Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Eye

Сообщений: 22213 Регистрация: Май 2011

29 Августа 2018 17:24

Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 17:31

Цитата
Eye пишет: Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

У меня хостер нормальный, бегет. Нагрузка на стандартных тарифах у них одинаковая.

Eye

Сообщений: 22213 Регистрация: Май 2011

#10

29 Августа 2018 17:32

Цитата
Ольга пишет: хостер нормальный, бегет.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#11

29 Августа 2018 17:58

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

WGN

Сообщений: 9907 Регистрация: Июн 2015

#12

29 Августа 2018 18:06

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Иоанн Грозный

Сообщений: 1139 Регистрация: Фев 2014

#13

29 Августа 2018 18:20

Цитата
Ольга пишет: У меня хостер нормальный, бегет.

Установка, настройка, наполнение сайта на SMC WordPress, PrestaShop.
WordPress***WordPress

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#14

29 Августа 2018 18:52

Цитата

WGN пишет:

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Нет, я имел ввиду за одну секунду делает 120 запросов.

Ольга , Вот список ботов майл.ру _https://help.mail.ru/webmaster/indexing/robots/robot_log

Ольга

Сообщений: 674 Регистрация: Апр 2017

#15

30 Августа 2018 08:38

Цитата

Diman_TS пишет:

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

Судя по всему, помогло.

Прикрепленные файлы

2018-08-30_08-33-55.png (8.12 КБ) [ Скачать ]

Похожие темы:

28.05.2024 19:21	Кто как борется с ботами ПФ?
24.12.2023 11:00	Работа браузера сафари
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
04.01.2021 19:02	Хотел посмотреть как работают поисковики, за пол года 0 результата, хочу получить совет
21.02.2020 19:00	Сколько времени должно пройти, чтобы ссылки от прогона сработали?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:49 Ищу специалистов 08:12 ру гембла 09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче 19:42 Продвижение по ключам 19:33 Продвижение заграницей 12:53 Нужна помощь советом! 11:28 2Index - быстрая индексация страниц сайта и обратных ссылок	21:31 Продам аккаунты HH.RU 21:28 Продажа аккаунтов HH.RU 18:23 Разработчик Сайтов и Софта Любой Сложности - Developer of Websites and Software of Any Complexity! 17:50 Affiliate Top - партнерская программа нового уровня 15:23 Скрипт обменника валют 15:04 Аккаунты AVITO/АВИТО 13:31 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод	15:52 Ну что, кто куда деваете свои сайты? 05:31 Точные прогнозы на футбол 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир... 13:13 О природе путешествий. 00:15 Накрутка поисковых подсказок 19:56 Union Pharm - топовая фарма-партнерка для профессионалов!