Правильно ли составил robots.txt?

Правильно ли составил robots.txt? Нет ничего лишнего ?

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /page/
Disallow: /tags

Host: сайт
Sitemap: http://сайт/sitemap.xml

Новые темы	Объявления	Свободное общение
18:46 Одновременно пропал трафик с гугл и яндекса 21:10 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 16:39 Партнерская программа OWNR WALLET 15:11 Adtrafico - Правильная партнёрская сеть под бурж трафик 11:50 Очень много 404 ошибок в вэбмастере!? 03:48 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 22:55 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	15:24 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust 14:36 Криптовалютный обменник Xgram.io - новое воплощение качества 13:25 Обмен без AML и верификации Aztor.pro 19:19 Ural-obmen.ru — выгодный сервис обмена 19:04 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 12:17 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 11:51 Google Voice - OLD аккаунты "SMS и звонки"	02:46 Точные прогнозы на футбол 12:04 Как получить рефералов и посетителей на сайт бесплатно. 18:31 Видимо, похороны СУПРа уже прошли как-то по-тихому 12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

18:46 Одновременно пропал трафик с гугл и яндекса
21:10 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
16:39 Партнерская программа OWNR WALLET
15:11 Adtrafico - Правильная партнёрская сеть под бурж трафик
11:50 Очень много 404 ошибок в вэбмастере!?
03:48 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
22:55 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options

15:24 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust
14:36 Криптовалютный обменник Xgram.io - новое воплощение качества
13:25 Обмен без AML и верификации Aztor.pro
19:19 Ural-obmen.ru — выгодный сервис обмена
19:04 Obama.ru - безопасный обмен криптовалют и электронных денежных средств
12:17 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
11:51 Google Voice - OLD аккаунты "SMS и звонки"

02:46 Точные прогнозы на футбол
12:04 Как получить рефералов и посетителей на сайт бесплатно.
18:31 Видимо, похороны СУПРа уже прошли как-то по-тихому
12:48 Каспкрски ОС
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок
15:24 Добро пожаловать в цифровой мир...

26.06.2019 18:48	Сайт неправильно отдаёт 404
25.10.2017 05:49	Помогите разобраться,как правильно переехать с dle в wordpress
12.01.2017 22:21	Как правильно настроить 301 редирект?
09.04.2016 08:05	Правильно ли настроено .htaccess и robots.txt
18.06.2015 18:03	Помогите настроить правильно редиректы для DLE

Rich Dad Сообщений: 487 Регистрация: Окт 2011	#1 21 Ноября 2016 15:09 Правильно ли составил robots.txt? Нет ничего лишнего ? User-agent: Yandex Disallow: /print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /page/ Disallow: /tags User-agent: Disallow: /*print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /page/ Disallow: /tags Host: сайт Sitemap: http://сайт/sitemap.xml