Сложный robots.txt
Страницы: 1
Сложный robots.txt, Как сделать
Есть такие страницы дубли
сайт/rubr/rabota/page/1/

сайт/rubr/nedvigimost/page/1/
 сайт/rubr/info/page/1/
как можно исключить именно индексацию страниц  в файле роботс: /page/1/   /page/2/    /page/3/  каждой категории, но чтоб не прописывать каждую директорию..
Скорей всего есть какая то директива чтобы в любом разделе закрыть индексацию page и ему подобных, подскажите плиз, а то появилось столько дубляжа, что позиции на 50 процентов просели.. вовремя не уследил..
заранее спасибо за помощь
ha100yashii, Напиши так: Disallow: /rubr/ и все что будет выше rubr не будут индексироватся
Вывод сайта из под АГС + Аудиты

Качают с сайта? Регистрируйся в ProfiTraf по Инвайту и получай больше 3 рублей за 1 скач
А разве стоит закрывать страницы от индексации? На процесс индексирования всего сайта это никак не повлияет? На работу робота при обходе сайта?
Хотелось бы услышать мнение опытных людей.
Disallow: */page/*
Александр, точно, сидел вспоминал все как оно делается smile:) от меня +
yakes, /rubr/nedvigimost/ мне нужен в индексации
Илья Гудков, закрывать стоит - дубли, понижение позиций, а также повтор заголовков .. а на процесс индексации -  влияет - она улучшается
Александр - большое спасибо надеюсь поможет
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:45 С чего сейчас проще начать? 
00:22 Раскрутка форума 
00:17 Бесплатное получение бэклинков 
00:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
00:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
23:48 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
08:21 Продвижение-2022: Гугл все? Нет – Гугл не все! 
00:22 BITzaBIT.com - обмен криптовалют, выплаты EUR, CAD, GBP, AZN, TJS, UZS 
00:13 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
23:39 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 
18:46 Прямой поставщик услуг для MAX 
17:52 Mixmasters - Exchange without AML and KYC 
16:47 Продам домен translated.ru 
16:11 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
00:10 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
23:59 Почему не обновляется счетчик ИКС (индекса качества сайта) 
21:20 Точные прогнозы на футбол 
19:38 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
14:56 молодильные яблоки и живая вода 
06:50 Ставки на супер тренды в спорте 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем