Насколько верен мой robots.txt
Страницы: 1
Насколько верен мой robots.txt
Всем привет! Скажите, насколько правильный мой сабж?
Просто зайдя на яндекс вебмастер увидел такую картину.
Спасибо.
Рисунок

Сам робот

User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.***.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag
Заказ статей http://goo.gl/B8qO0y
newdrivers, без самого сайта сказать сложно. Вроде верен. А вообще посмотрите количество страниц не под фильтрами в гугле. Чем больше страниц не под фильтром, тем вернее ваш роботс.
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:42 Гугл уходит из России: почему интернет тормозит и что делать 
00:29 SEO под нейро 
00:02 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
21:30 kraken зеркало рабочее 
20:33 Телега на ручнике: РКН включил замедление и логи админок покраснели 
17:48 Ютуб - все: РКН вырубил свет через DNS и НСДИ 
16:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
18:49 CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта 
18:13 Portfel.cc - современный помощник в Ваших финансовых операциях. 
18:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
16:56 Сервис смс активаций и аренды мобильных номеров ALISMS 
16:09 Bardo — Бюро развития и координации цифровых операций. 
13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
04:34 Точные прогнозы на футбол 
00:40 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
00:36 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
00:12 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 
23:59 Сайты Рунета 
20:42 Отвратительное поведение 
20:35 Туалетные секреты: Замурчательная тема