Чё не так с robots.txt ?
Страницы: 1
Чё не так с robots.txt ?
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: #####.ru
Sitemap: #####.ru/sitemap.xml

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: #####.ru/sitemap.xml

Чё не так с robots.txt  ? помогите разобраться:confused:
Нужно так.

Если на движке DLE настроен ЧПУ ссылок:

User-agent: Yandex 
Disallow: /*print
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do
Disallow: /?do
Host: #####.ru 

User-agent: *
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=
Disallow: /?do=


Sitemap: #####.ru/sitemap.xml 

Если ЧПУ нет:

User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 
Host: #####.ru 


User-agent: Yandex 
Disallow: /*print 
Disallow: /autobackup.php 
Disallow: /user/ 
Disallow: /favorites/ 
Disallow: /index.php?do=register 
Disallow: /?do=lastcomments 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=register 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?subaction=newposts 


Sitemap: #####.ru/sitemap.xml 

Единственное что важно, так это чтобы не было лишних пробелов и символов в файле robots.txt
блин вроде всё так же=(((((((
а так всё в моём robots.txt выходит правильно???????????????smile:(
Изменено: Виктор Сергеевич - 30 Марта 2012 21:28
Цитата
Виктор Сергеевич пишет:
.ru
Да, все правильно, кроме одного:У вас для всех роботов (*) также указывается директива Host, хотя она должна указываться только для робота Yandex.
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt  185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
А вы покажите либо сайт, либо страницы, которые обычные и которые для печати, тогда я вам подскажу, как нужно настроить robots.txt
На слепую не получается.
Цитата
Виктор Сергеевич пишет:
а если открыть
Disallow: /*print smile:wall:
вот что пишет Yandex
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt 185 штук.............

/krasota-i-zdorovye/print:page,1,109-sovety-kormyaschim-materyam.html ошибки почти все выглядят так........


ничего не пойму:wall: помогите?
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями smile:)
Чё не так с robots.txt  ? страницы не индексируются как раньше, и 70% выпало вообще,правда недавно сменил шаблон настроики  ссылок (/%postname%.html)  7dim.ru/ ( http://7dim.ru/ )

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

Host:7dim.ru
Sitemap: 7dim.ru/.sitemap.xml.gz
Sitemap: 7dim.ru//sitemap.xml
Изменено: Дмитрий Бохан - 6 Апреля 2012 00:01
Цитата
Лена пишет:
Все правильно у Вас. Вы запретили к индексации дубли, а именно версию для печати. А вообще уберите в шаблоне кнопку "печать", я думаю мало кто пользуется этой функцией. Этим Ваш сайт не будет дразнить поисковики дублями
а если robots.txt  удалить Disallow: /*print  ничего страшного наверно не будет?)и страницы с ошибкой не будут мазолить глаза в Яндекс вебмастере)или нельзя ?)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:23 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании 
19:52 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
19:52 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
13:23 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
13:08 AlwaysMoney - платформа для обмена криптовалют 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?