Вопрос по роботс
Страницы: 1
Вопрос по роботс, Че-то я не понимаю
Прошу прощения за очередной прикольный вопрос. Но вот учусь я на таких 

На одном сайте нашла вот такую балду в роботс ...

User-agent: * Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/ User-agent: Yandex Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/  

У меня такой вопрос: или я чего-то не понимаю в роботс и картах сайта (ну я к ним пока на вы и с глубоким уважением. А таких знаков как "*?" и "*&" я не нашла ) или сеошник чего-то напутал? 
И все идет вот такой полосой 

буду благодарна за консультацию. 
1. Корректно роботс должен быть примерно таким (не именно таким, в структурно таким!!)

User-agent: Yandex
Crawl-delay: 4
Disallow: /?s
Disallow: /?m=
Disallow: /?paged=
Disallow: /page/
Host: site.ru

Sitemap: _http://site.ru/sitemap.xml.gz
Sitemap: _http://site.ru/sitemap.xml

Это урезанный в 4 раза роботс, чисто для примера. Суть в структуре и в том, что нигде не должно быть лишних пробелов после команд, страниц и т.д.
В одну строку роботс я еще не видал. Даже не знаю что тут сказать, по правде =)

2. Вопросики в командах - это для закрытия дублей страниц, которые вечно вылазят изза систем управления.
3. Звездочка означает, что вместо нее может быть как бы "все что угодно". Это чтобы не писать кучу страничек и адресов - забивают звездочку, как в программировании.
Черточки на картах ясное дело убрать надо.
Изменено: Дмитрий Мацкевич - 6 Сентября 2013 19:20
Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.
Ссылочные атрибуты ( такие, как "?", "&" ) могут присутствовать в Robots.txt
Использование таких атрибутов зависит от вида страниц сайта.
Файл Robots.txt составляется исходя из особенностей Вашего сайта, и для каждого сайта составляется индивидуально.
User-agent: * => Для всех роботов
Disallow: *& => Не индексировать страницы где встречается символ "&"
Disallow: *? => Не индексировать страницы где встречается символ "?"
Disallow: /news/pages/$ => Это я не понял, но думаю что это разрешение к индексированию раздела новостей со всеми его внутренними страницами.
Disallow: /products/1442/ => Не индексировать содержимое дирректории по конечному пути /products/1442/ 

User-agent: Yandex => Только для роботов Яндекса то же самое.
Disallow: *& 
Disallow: *? 
Disallow: /news/pages/$ 
Disallow: /products/1442/

Есть такие символы "?", "&", генерируются они скриптами или плагинами при создании страниц пользователями (поиск, печать), служебными разделами (архивы, метки) и т.п.
Спасибо большое за лик без
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
05:30 CoinCapital  
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?