Чё не так с robots.txt ?
Страницы: 1
Чё не так с robots.txt ?
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: #####.ru
Sitemap: #####.ru/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: #####.ru/sitemap.xml

Чё не так с robots.txt  ? помогите разобраться:confused:
Нужно так.

Если на движке DLE настроен ЧПУ ссылок:

User-agent: Yandex 
Disallow: /*print
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do
Disallow: /?do
Host: #####.ru 

User-agent: *
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=
Disallow: /?do=


Sitemap: #####.ru/sitemap.xml 

Если ЧПУ нет:

User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 
Host: #####.ru 


User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 


Sitemap: #####.ru/sitemap.xml 

Единственное что важно, так это чтобы не было лишних пробелов и символов в файле robots.txt
блин вроде всё так же=(((((((
а так всё в моём robots.txt выходит правильно???????????????smile:(
Изменено: Виктор Сергеевич - 30 Марта 2012 21:28
Цитата
Виктор Сергеевич пишет:
.ru
Да, все правильно, кроме одного:У вас для всех роботов (*) также указывается директива Host, хотя она должна указываться только для робота Yandex.
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt  185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
А вы покажите либо сайт, либо страницы, которые обычные и которые для печати, тогда я вам подскажу, как нужно настроить robots.txt
На слепую не получается.
Цитата
Виктор Сергеевич пишет:
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt 185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями smile:)
Чё не так с robots.txt  ? страницы не индексируются как раньше, и 70% выпало вообще,правда недавно сменил шаблон настроики  ссылок (/%postname%.html)  7dim.ru/ ( http://7dim.ru/ )

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

Host:7dim.ru
Sitemap: 7dim.ru/.sitemap.xml.gz
Sitemap: 7dim.ru//sitemap.xml
Изменено: Дмитрий Бохан - 6 Апреля 2012 00:01
Цитата
Лена пишет:
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями
а если robots.txt  удалить Disallow: /*print  ничего страшного наверно не будет?)и страницы с ошибкой не будут мазолить глаза в Яндекс вебмастере)или нельзя ?)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
08:53 AI под надзором. Минцифры готовят клеймо для контента 
08:51 APK на паузе. Google убивает быстрый конверт 
08:49 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
22:32 Gambling Craft - гемблинг по белому 
00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
09:17 Все услуги в Телеграм 
05:40 Купить дедики Абузоустойчивые сервера Аренда сервера Купить dedic Дедик Дешево vps vds сервера дедики на SSD! 
17:48 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 
17:13 Анализ курсов и недежности обменников - Kurs.Expert 
15:29 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
14:20 Вериф аккаунты АВИТО + платежи 
14:17 Swapwatch.org — Мониторинг криптовалютных обменников 
08:54 молодильные яблоки и живая вода 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
08:48 Сайты Рунета 
00:10 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
20:23 Панель Кнопки соцсетей 
20:09 Точные прогнозы на футбол 
14:03 Огородники