Всем привет! Последний месяц идет стремительная нагрузка на хостинг поисковыми роботами.Хостер сегодня прислал такой отчет
Это нагрузка на сайт с 12 ночи до часа дня. В роботс прописала команду
Вчера нагрузка была такой
В Яндексе и гугле уменьшила скорость обхода.Подскажите, как забанить бота мэйл ру, так как для моего сайта он несет только нагрузку, а не посетителей.
| Цитата |
|---|
|
649 19.08% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 324 9.52% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 92 2.70% Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) |
Это нагрузка на сайт с 12 ночи до часа дня. В роботс прописала команду
| Цитата |
|---|
| User-agent: *
Crawl-delay: 120 |
Вчера нагрузка была такой
| Цитата |
|---|
|
2123 15.73% Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots) 1072 7.94% Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) 912 6.76% Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
В Яндексе и гугле уменьшила скорость обхода.Подскажите, как забанить бота мэйл ру, так как для моего сайта он несет только нагрузку, а не посетителей.
