Вопрос по роботс
Страницы: 1
Вопрос по роботс, Че-то я не понимаю
Прошу прощения за очередной прикольный вопрос. Но вот учусь я на таких 

На одном сайте нашла вот такую балду в роботс ...

User-agent: * Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/ User-agent: Yandex Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/  

У меня такой вопрос: или я чего-то не понимаю в роботс и картах сайта (ну я к ним пока на вы и с глубоким уважением. А таких знаков как "*?" и "*&" я не нашла ) или сеошник чего-то напутал? 
И все идет вот такой полосой 

буду благодарна за консультацию. 
1. Корректно роботс должен быть примерно таким (не именно таким, в структурно таким!!)

User-agent: Yandex
Crawl-delay: 4
Disallow: /?s
Disallow: /?m=
Disallow: /?paged=
Disallow: /page/
Host: site.ru

Sitemap: _http://site.ru/sitemap.xml.gz
Sitemap: _http://site.ru/sitemap.xml

Это урезанный в 4 раза роботс, чисто для примера. Суть в структуре и в том, что нигде не должно быть лишних пробелов после команд, страниц и т.д.
В одну строку роботс я еще не видал. Даже не знаю что тут сказать, по правде =)

2. Вопросики в командах - это для закрытия дублей страниц, которые вечно вылазят изза систем управления.
3. Звездочка означает, что вместо нее может быть как бы "все что угодно". Это чтобы не писать кучу страничек и адресов - забивают звездочку, как в программировании.
Черточки на картах ясное дело убрать надо.
Изменено: Дмитрий Мацкевич - 6 Сентября 2013 19:20
Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.
Ссылочные атрибуты ( такие, как "?", "&" ) могут присутствовать в Robots.txt
Использование таких атрибутов зависит от вида страниц сайта.
Файл Robots.txt составляется исходя из особенностей Вашего сайта, и для каждого сайта составляется индивидуально.
User-agent: * => Для всех роботов
Disallow: *& => Не индексировать страницы где встречается символ "&"
Disallow: *? => Не индексировать страницы где встречается символ "?"
Disallow: /news/pages/$ => Это я не понял, но думаю что это разрешение к индексированию раздела новостей со всеми его внутренними страницами.
Disallow: /products/1442/ => Не индексировать содержимое дирректории по конечному пути /products/1442/ 

User-agent: Yandex => Только для роботов Яндекса то же самое.
Disallow: *& 
Disallow: *? 
Disallow: /news/pages/$ 
Disallow: /products/1442/

Есть такие символы "?", "&", генерируются они скриптами или плагинами при создании страниц пользователями (поиск, печать), служебными разделами (архивы, метки) и т.п.
Спасибо большое за лик без
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:06 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
10:22 25.12.25 Апдейт Яндекс выдача 
10:19 Ссылки с сайтов РБ 
09:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
09:11 Продвижение-2022: Гугл все? Нет – Гугл не все! 
08:46 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 
20:16 Волна банов за ПФ под Новый год? Кого еще зацепило? 
13:00 Mixmasters - Exchange without AML and KYC 
10:24 Размещение статей, ссылок и постовых на качественных ресурсах 
08:49 Продвижение на Авито 
08:48 xpoint.pro - быстрый и надежный криптообменный сервис Xpoint 
18:09 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:59 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
10:06 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:20 Компьютерная мышь 
12:08 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
10:21 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут? 
08:52 Стряхнуть обыденность - об Агасфере 
23:08 Физические сим-карты 
22:52 37 противникам прививок от COVID грозят уголовные дела 
21:44 С юмором по жизни!