Как заблокировать бота Мэйл.ру

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 13:27

Всем привет! Последний месяц идет стремительная нагрузка на хостинг поисковыми роботами.Хостер сегодня прислал такой отчет

Цитата
649 19.08% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 324 9.52% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 92 2.70% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Это нагрузка на сайт с 12 ночи до часа дня. В роботс прописала команду

Цитата
User-agent: * Crawl-delay: 120

Вчера нагрузка была такой

Цитата
2123 15.73% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 1072 7.94% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 912 6.76% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

В Яндексе и гугле уменьшила скорость обхода.Подскажите, как забанить бота мэйл ру, так как для моего сайта он несет только нагрузку, а не посетителей.

Лучшая тизерка для медицинских и женских сайтов

WGN

Сообщений: 9907 Регистрация: Июн 2015

29 Августа 2018 14:35

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 15:12

Цитата

WGN пишет:

Цитата
Ольга пишет: Crawl-delay: 120

А немного ли это - Crawl-delay 3 вполне бы хватило

Хостер так порекомендовал.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 15:32

Ольга ,
Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

Рекомендую хостинг и VPN в Европе от 56р.
Рекомендую хостинг в России от 220р.
Мой Сайт-Блог Климов Дмитрий .

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:34

Цитата
Diman_TS пишет: Ольга , Кто Хостер? 120 запросов в секунду это много. То что вы настраеваете в панелях и эда деректива не означает что пс будут их предерживаться. Бань те по регулярном выражению к примеру Mail.RU_Bot

разве это означает количество запросов в секунду, а не таймаут?

Цитата
User-agent: Yandex Crawl-delay: 2.0 # задает тайм-аут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

29 Августа 2018 16:38

Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 16:41

Цитата

Diman_TS пишет:
Ольга ,
Возможно я на память вам сказал. Но настройки действуют на усмотрение робота, а как он рассматривает знает только он)). Надо запретить на уровне сервера, так чтобы когда только он попытается зайти, а не тогда когда он уже зашёл и начинает работать.

Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Eye

Сообщений: 22227 Регистрация: Май 2011

29 Августа 2018 17:24

Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Ольга

Сообщений: 674 Регистрация: Апр 2017

29 Августа 2018 17:31

Цитата
Eye пишет: Вы бы хостера меняли или тариф, чем запрещать роботам ПС ходить по сайту...

У меня хостер нормальный, бегет. Нагрузка на стандартных тарифах у них одинаковая.

Eye

Сообщений: 22227 Регистрация: Май 2011

#10

29 Августа 2018 17:32

Цитата
Ольга пишет: хостер нормальный, бегет.

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#11

29 Августа 2018 17:58

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

WGN

Сообщений: 9907 Регистрация: Июн 2015

#12

29 Августа 2018 18:06

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Иоанн Грозный

Сообщений: 1139 Регистрация: Фев 2014

#13

29 Августа 2018 18:20

Цитата
Ольга пишет: У меня хостер нормальный, бегет.

Установка, настройка, наполнение сайта на SMC WordPress, PrestaShop.
WordPress***WordPress

Diman_TS

Сообщений: 909 Регистрация: Окт 2012

#14

29 Августа 2018 18:52

Цитата

WGN пишет:

Цитата
Diman_TS пишет: Кто Хостер? 120 запросов в секунду это много

Это значит что робот заходит 1 раз в 120 секунд !!!

Нет, я имел ввиду за одну секунду делает 120 запросов.

Ольга , Вот список ботов майл.ру _https://help.mail.ru/webmaster/indexing/robots/robot_log

Ольга

Сообщений: 674 Регистрация: Апр 2017

#15

30 Августа 2018 08:38

Цитата

Diman_TS пишет:

Цитата
Ольга пишет: Порекомендовал хостер прописать в htacess одну команду, посмотрю на результат, поможет или нет.

Это одно из решений, главное правильно прописать, а то подумаете что не помогает.

Судя по всему, помогло.

Прикрепленные файлы

2018-08-30_08-33-55.png (8.12 КБ) [ Скачать ]

Похожие темы:

28.05.2024 19:21	Кто как борется с ботами ПФ?
24.12.2023 11:00	Работа браузера сафари
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
04.01.2021 19:02	Хотел посмотреть как работают поисковики, за пол года 0 результата, хочу получить совет
21.02.2020 19:00	Сколько времени должно пройти, чтобы ссылки от прогона сработали?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!	22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 15:26 TETChange-Обменник криптовалют 12:28 AlwaysMoney - платформа для обмена криптовалют 01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 22:30 SOCKS5 приватные прокси на 30 дней для PayPal 22:29 Google Voice аккаунты для бесплатных SMS и звонков 22:29 PayPal аккаунты для любых целей	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?