Как заблочить роботов, которые кладут сайт
Страницы: Пред. 1 2 3 След.
Как заблочить роботов, которые кладут сайт
в общем сейчас мой роботс выглядит так
Код
User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла   
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: *?s=              
Disallow: *&s=             
Disallow: /search/  
Disallow: /author/
Disallow: /users/      
Disallow: */trackback                     
Disallow: */feed            
Disallow: */rss             
Disallow: */embed          
Disallow: /xmlrpc.php      
Disallow: *utm=            
Disallow: *openstat=  
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне)
Disallow: *?replytocom
Allow: */uploads
Crawl-delay: 10.0 # задает тайм-аут в 10 секунд   

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js           
Allow: /*/*.css           
Allow: /wp-*.png          
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign                          
Clean-Param: openstat

User-agent: Mail.Ru
Disallow:

Sitemap: <a href=\"https://site.ru/sitemap_index.xml\" target=\"_blank\">https://site.ru/sitemap_index.xml</a>

буду наблюдать

Бесплатная контекстная реклама

ПС:
Если стоит

User-agent: *

то задержка краулинга будет касаться всех ботов. Которые не игнорируют правила роботс само собой.
для гугла яндекса и майла нет задержки, а остальные пусть в очереди стоят
Вот это
Цитата
User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла


неправда, т. к. * - это вообще все-все--все боты


Проверьте файл роботс на ошибки через Вебмастер Яндекса и гугла.

Тут ошибка. Уберите в 10.0 - точку 0
только целые числа в секундах
Цитата

Crawl-delay: 10.0 # задает тайм-аут в 10 секунд  
т.е. надо так
Код
Crawl-delay: 10
 
Код
User-agent: Mail.Ru
Disallow:

Если хотите запретить мейлрушнику всё - замените на

Код
User-agent: Mail.Ru
Disallow: /
 
Изменено: sharkson - 12 Октября 2019 16:22
Т. е. команда для мейлрушного бота должна выглядеть как я написал - если вы хотите ему запретить сканить всё на сайте.
нет, мейлру разрешить все
точнее сделал как гуглу, только rss и feed удалил, т.к. нужна лента майлу
хотя яндекс сам пишет

Код
User-agent: Yandex
Crawl-delay: 2.0 # задает тайм-аут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 1.5 # задает тайм-аут в 1.5 секунды
 
Цитата
sharkson пишет:
Проверьте файл роботс на ошибки через Вебмастер Яндекса и гугла.

нет ошибок и предупреждений
Цитата
Zhezkazganetcs пишет:
нет, мейлру разрешить все
точнее сделал как гуглу
Тогда можно продублировать тоже что и гуглу - заменив название бота на нужное.
Цитата
sharkson пишет:
Тогда можно продублировать тоже что и гуглу - заменив название бота на нужное.
да, я уже сделалтеперь наблюдать буду
но вроде немного Отфильтрованы по статистическим правилам затормозилось
Проще конечно вспомнить время и посмотреть когда были всплески нагрузки в панели хостера. Потом поискать по логам доступа - какая сволочь это вызвала. И забанить ее по агенту и\или по айпи.
время почему то обеденное
где эти логи могут быть? в какой категории или

ответ хостера

Код
Видим, что нагрузка на хостинг создается при обращении к файлу index.php сайта site.ru
ххххх 2401604 12.5 0.0 390476 52536 ? Rs 10:26 0:01 lsphp:/home/ххххх/site.ru/index.php
ххххх 2401629 12.8 0.0 390476 52864 ? Rs 10:26 0:01 lsphp:/home/ххххх/site.ru/index.php
ххххх 2401756 14.1 0.0 388428 51576 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php
ххххх 2401825 14.2 0.0 388172 50920 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php
ххххх 2401844 13.4 0.0 384468 47124 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php
ххххх 2402084 16.0 0.0 373456 36692 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php
ххххх 2402118 13.0 0.0 369576 32336 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php
ххххх 2402202 15.0 0.0 365260 27944 ? Rs 10:26 0:00 lsphp:/home/ххххх/site.ru/index.php

Фиксируем следующие обращения к вашему сайту:

693 141.8.142.34
664 5.45.207.33
630 178.154.171.88
530 5.45.207.67
429 141.8.132.40
330 94.245.133.48
290 213.180.203.19
260 93.157.45.114
225 18.233.194.247
213 66.249.92.130


пока написал хостеру, чтобы подсказал где это все искать и смотреть, но пока ответа нет
Цитата
Zhezkazganetcs пишет:
ложат сайт, что появляется 508 ошибка
как решить проблему?
Вариант приобретения нормального хостинга был? smile:)
Самый быстрый хостинг на SSD. Месяц в подарок. Поддержка 24/7. Помощь в переезде.

Передовое сообщество вебмастеров. Тебе к нам!
Цитата
Zhezkazganetcs пишет:
693 141.8.142.34
664 5.45.207.33
630 178.154.171.88
530 5.45.207.67
429 141.8.132.40
330 94.245.133.48
290 213.180.203.19
260 93.157.45.114
225 18.233.194.247
213 66.249.92.130

7 из 10 ip  в этом списке принадлежат яндекс ботам.




Цитата
Zhezkazganetcs пишет:
Код
 Видим, что нагрузка на хостинг создается при обращении к файлу index.php  
Что за CMS у вас или самопис?
Попробуйте с кэшированием поэксперементировать... да и о смене хостинга как сказано выше может стоить подумать smile:)
Цитата
Артем Малков пишет:
Вариант приобретения нормального хостинга был? smile:)
хостинг самый лучший в беларуси!

Цитата
MrLexKo пишет:
Что за CMS у вас или самопис?

wordpress + WP Super Cache
проблема началась недели 2 назад, когда начали активно посещать роботы
Цитата
Zhezkazganetcs пишет:
проблема началась недели 2 назад , когда начали активно посещать роботы
Когда роботы Яндекса кладут сайт - это ненормальная ситуация и так быть не должно. Не знаю что у вас за хостинг, но у меня на сайтах боты поисковиков посещают очень часто, с одного вообще не вылазят. Никогда не было чтобы какие-либо боты клали сайт.
Страницы: Пред. 1 2 3 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
01:53 Зарабатывай до 50% за сейл с партнерской программой EssayPro! 
01:43 Учитывается ли время когда запостил ссылку? 
01:01 SEO, WP медиафайлы- картинки, вредят? 
00:58 Подскажите как отреагирую поисковики на не уникальный контент? 
22:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
20:36 Как лучше добавить русский контент на английскую версию сайта 
15:17 АП ИКС 27.03.2020 | Апдейт Яндекс ИКС 27 марта 2020 
01:35 Продажа аккаунтов Adsense 
19:04 Верстка PSD-макетов html\css\flexbox\bootstrap 4 
15:59 Размещу 30001 ссылку на Ваш сайт с профилей + Бонус 
15:48 Размещу 275 Трастовых ссылок на Ваш сайт 
15:48 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
09:35 Программы для рассылок, накрутки, продвижения и ведения аккаунтов в skype, instagram, vk, ok, avito, lenta.ru 
21:11 Продажа аккаунтов Facebook с логов для рекламы 
00:30 Вопрос о курсах 
18:19 Plussy - лучшая партнерка для гемблинг 
02:02 Партнерка UDS. Мобильное приложение для бизнеса . Программа лояльности 
20:49 Новостной сайт с ноля 
19:24 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:07 Коронавирус 
08:59 Бесплатно за отзыв можем сделать 1 услугу в соц сетях