Чё не так с robots.txt ?
Страницы: 1
Чё не так с robots.txt ?
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: #####.ru
Sitemap: #####.ru/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: #####.ru/sitemap.xml

Чё не так с robots.txt  ? помогите разобраться:confused:
Нужно так.

Если на движке DLE настроен ЧПУ ссылок:

User-agent: Yandex 
Disallow: /*print
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do
Disallow: /?do
Host: #####.ru 

User-agent: *
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=
Disallow: /?do=


Sitemap: #####.ru/sitemap.xml 

Если ЧПУ нет:

User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 
Host: #####.ru 


User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 


Sitemap: #####.ru/sitemap.xml 

Единственное что важно, так это чтобы не было лишних пробелов и символов в файле robots.txt
блин вроде всё так же=(((((((
а так всё в моём robots.txt выходит правильно???????????????smile:(
Изменено: Виктор Сергеевич - 30 Марта 2012 21:28
Цитата
Виктор Сергеевич пишет:
.ru
Да, все правильно, кроме одного:У вас для всех роботов (*) также указывается директива Host, хотя она должна указываться только для робота Yandex.
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt  185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
А вы покажите либо сайт, либо страницы, которые обычные и которые для печати, тогда я вам подскажу, как нужно настроить robots.txt
На слепую не получается.
Цитата
Виктор Сергеевич пишет:
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt 185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями smile:)
Чё не так с robots.txt  ? страницы не индексируются как раньше, и 70% выпало вообще,правда недавно сменил шаблон настроики  ссылок (/%postname%.html)  7dim.ru/ ( http://7dim.ru/ )

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

Host:7dim.ru
Sitemap: 7dim.ru/.sitemap.xml.gz
Sitemap: 7dim.ru//sitemap.xml
Изменено: Дмитрий Бохан - 6 Апреля 2012 00:01
Цитата
Лена пишет:
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями
а если robots.txt  удалить Disallow: /*print  ничего страшного наверно не будет?)и страницы с ошибкой не будут мазолить глаза в Яндекс вебмастере)или нельзя ?)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:54 25.12.25 Апдейт Яндекс выдача 
15:48 Ссылки с сайтов РБ 
08:50 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
08:48 Стоит ли добавлять сайт в Rambler топ 100? 
08:46 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
08:36 Супер-партнерка PayV: избранные офферы в топовых нишах 
08:11 Волна банов за ПФ под Новый год? Кого еще зацепило? 
14:59 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
10:06 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
08:53 Размещение статей, ссылок и постовых на качественных ресурсах 
08:22 Мониторинг обменников Сrypto-scout.io 
04:17 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
03:54 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 
19:18 Oblaka.in — Обмен криптовалюты быстро, выгодно и безопасно 
11:18 Стряхнуть обыденность - об Агасфере 
08:42 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
23:08 Физические сим-карты 
22:52 37 противникам прививок от COVID грозят уголовные дела 
21:44 С юмором по жизни! 
13:34 Компьютерная мышь 
13:13 Куплю проигрышные букмекерские аккаунты