Сложный robots.txt

Сообщений: 213 Регистрация: Окт 2011

5 Февраля 2014 19:41

Есть такие страницы дубли
сайт/rubr/rabota/page/1/

сайт/rubr/nedvigimost/page/1/
сайт/rubr/info/page/1/
как можно исключить именно индексацию страниц в файле роботс: /page/1/ /page/2/ /page/3/ каждой категории, но чтоб не прописывать каждую директорию..
Скорей всего есть какая то директива чтобы в любом разделе закрыть индексацию page и ему подобных, подскажите плиз, а то появилось столько дубляжа, что позиции на 50 процентов просели.. вовремя не уследил..
заранее спасибо за помощь

yakes

Сообщений: 370 Регистрация: Янв 2012

7 Февраля 2014 13:41

ha100yashii, Напиши так: Disallow: /rubr/ и все что будет выше rubr не будут индексироватся

Вывод сайта из под АГС + Аудиты

Качают с сайта? Регистрируйся в ProfiTraf по Инвайту и получай больше 3 рублей за 1 скач

Илья Гудков

Сообщений: 674 Регистрация: Дек 2010

7 Февраля 2014 13:44

А разве стоит закрывать страницы от индексации? На процесс индексирования всего сайта это никак не повлияет? На работу робота при обходе сайта?
Хотелось бы услышать мнение опытных людей.

Проверка позиций за копейки

Тематическте бэки от 5р навечно

Хостинг

Александр

Сообщений: 1276 Регистрация: Май 2011

7 Февраля 2014 13:53

Disallow: */page/*

yakes

Сообщений: 370 Регистрация: Янв 2012

7 Февраля 2014 13:57

Александр, точно, сидел вспоминал все как оно делается smile:)

от меня +

ha100yashii Сообщений: 213 Регистрация: Окт 2011	#6 7 Февраля 2014 14:46 yakes, /rubr/nedvigimost/ мне нужен в индексации Илья Гудков, закрывать стоит - дубли, понижение позиций, а также повтор заголовков .. а на процесс индексации - влияет - она улучшается Александр - большое спасибо надеюсь поможет

Новые темы	Объявления	Свободное общение
21:30 kraken зеркало рабочее 20:33 Телега на ручнике: РКН включил замедление и логи админок покраснели 18:06 SEO под нейро 17:59 Гугл уходит из России: почему интернет тормозит и что делать 17:48 Ютуб - все: РКН вырубил свет через DNS и НСДИ 16:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 13:46 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает	18:49 CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта 18:13 Portfel.cc - современный помощник в Ваших финансовых операциях. 18:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 16:56 Сервис смс активаций и аренды мобильных номеров ALISMS 16:09 Bardo — Бюро развития и координации цифровых операций. 13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 13:14 BestChange – обменивать электронную валюту можно быстро и выгодно	20:42 Отвратительное поведение 20:35 Туалетные секреты: Замурчательная тема 20:06 Ставки на супер тренды в спорте 18:16 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 18:15 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 18:13 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 18:11 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе

Новые темы

Объявления

Свободное общение

21:30 kraken зеркало рабочее
20:33 Телега на ручнике: РКН включил замедление и логи админок покраснели
18:06 SEO под нейро
17:59 Гугл уходит из России: почему интернет тормозит и что делать
17:48 Ютуб - все: РКН вырубил свет через DNS и НСДИ
16:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
13:46 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает

18:49 CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта
18:13 Portfel.cc - современный помощник в Ваших финансовых операциях.
18:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
16:56 Сервис смс активаций и аренды мобильных номеров ALISMS
16:09 Bardo — Бюро развития и координации цифровых операций.
13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox
13:14 BestChange – обменивать электронную валюту можно быстро и выгодно

20:42 Отвратительное поведение
20:35 Туалетные секреты: Замурчательная тема
20:06 Ставки на супер тренды в спорте
18:16 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
18:15 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
18:13 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
18:11 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt