Вопрос по роботс
Страницы: 1
Вопрос по роботс, Че-то я не понимаю
Прошу прощения за очередной прикольный вопрос. Но вот учусь я на таких 

На одном сайте нашла вот такую балду в роботс ...

User-agent: * Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/ User-agent: Yandex Disallow: *& Disallow: *? Disallow: /news/pages/$ Disallow: /products/1442/  

У меня такой вопрос: или я чего-то не понимаю в роботс и картах сайта (ну я к ним пока на вы и с глубоким уважением. А таких знаков как "*?" и "*&" я не нашла ) или сеошник чего-то напутал? 
И все идет вот такой полосой 

буду благодарна за консультацию. 
1. Корректно роботс должен быть примерно таким (не именно таким, в структурно таким!!)

User-agent: Yandex
Crawl-delay: 4
Disallow: /?s
Disallow: /?m=
Disallow: /?paged=
Disallow: /page/
Host: site.ru

Sitemap: _http://site.ru/sitemap.xml.gz
Sitemap: _http://site.ru/sitemap.xml

Это урезанный в 4 раза роботс, чисто для примера. Суть в структуре и в том, что нигде не должно быть лишних пробелов после команд, страниц и т.д.
В одну строку роботс я еще не видал. Даже не знаю что тут сказать, по правде =)

2. Вопросики в командах - это для закрытия дублей страниц, которые вечно вылазят изза систем управления.
3. Звездочка означает, что вместо нее может быть как бы "все что угодно". Это чтобы не писать кучу страничек и адресов - забивают звездочку, как в программировании.
Черточки на картах ясное дело убрать надо.
Изменено: Дмитрий Мацкевич - 6 Сентября 2013 19:20
Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.
Ссылочные атрибуты ( такие, как "?", "&" ) могут присутствовать в Robots.txt
Использование таких атрибутов зависит от вида страниц сайта.
Файл Robots.txt составляется исходя из особенностей Вашего сайта, и для каждого сайта составляется индивидуально.
User-agent: * => Для всех роботов
Disallow: *& => Не индексировать страницы где встречается символ "&"
Disallow: *? => Не индексировать страницы где встречается символ "?"
Disallow: /news/pages/$ => Это я не понял, но думаю что это разрешение к индексированию раздела новостей со всеми его внутренними страницами.
Disallow: /products/1442/ => Не индексировать содержимое дирректории по конечному пути /products/1442/ 

User-agent: Yandex => Только для роботов Яндекса то же самое.
Disallow: *& 
Disallow: *? 
Disallow: /news/pages/$ 
Disallow: /products/1442/

Есть такие символы "?", "&", генерируются они скриптами или плагинами при создании страниц пользователями (поиск, печать), служебными разделами (архивы, метки) и т.п.
Спасибо большое за лик без
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:23 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
12:59 Как поправить код 
11:36 Альтернативы Адсенсу в 2026 - есть живые? 
11:30 adsense в 2026: кто реально выводит копейку через киргизию? 
11:15 Трафик в минус, соцсети в топе - Завершено февральское обновление Google Discover 
11:01 Подскажите ТОП 5-10 ИМ с современным дизайном? 
10:47 Порекомендуйте редактор кода 
13:09 Продажа аккаунтов HH.RU 
12:03 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
11:57 Мониторинг обменников Сrypto-scout.io 
08:54 Monitex: Мониторинг с кэшбэком 80% в USDT 
05:07 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
23:14 E-currency.exchange — ваш помощник в мире обменов 
22:34 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
01:47 Точные прогнозы на футбол 
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
17:45 молодильные яблоки и живая вода 
15:04 Сайты Рунета 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:23 Панель Кнопки соцсетей 
14:03 Огородники