Сложный robots.txt

Сообщений: 213 Регистрация: Окт 2011

5 Февраля 2014 19:41

Есть такие страницы дубли
сайт/rubr/rabota/page/1/

сайт/rubr/nedvigimost/page/1/
сайт/rubr/info/page/1/
как можно исключить именно индексацию страниц в файле роботс: /page/1/ /page/2/ /page/3/ каждой категории, но чтоб не прописывать каждую директорию..
Скорей всего есть какая то директива чтобы в любом разделе закрыть индексацию page и ему подобных, подскажите плиз, а то появилось столько дубляжа, что позиции на 50 процентов просели.. вовремя не уследил..
заранее спасибо за помощь

yakes

Сообщений: 370 Регистрация: Янв 2012

7 Февраля 2014 13:41

ha100yashii, Напиши так: Disallow: /rubr/ и все что будет выше rubr не будут индексироватся

Вывод сайта из под АГС + Аудиты

Качают с сайта? Регистрируйся в ProfiTraf по Инвайту и получай больше 3 рублей за 1 скач

Илья Гудков

Сообщений: 674 Регистрация: Дек 2010

7 Февраля 2014 13:44

А разве стоит закрывать страницы от индексации? На процесс индексирования всего сайта это никак не повлияет? На работу робота при обходе сайта?
Хотелось бы услышать мнение опытных людей.

Проверка позиций за копейки

Тематическте бэки от 5р навечно

Хостинг

Александр

Сообщений: 1276 Регистрация: Май 2011

7 Февраля 2014 13:53

Disallow: */page/*

yakes

Сообщений: 370 Регистрация: Янв 2012

7 Февраля 2014 13:57

Александр, точно, сидел вспоминал все как оно делается smile:)

от меня +

ha100yashii Сообщений: 213 Регистрация: Окт 2011	#6 7 Февраля 2014 14:46 yakes, /rubr/nedvigimost/ мне нужен в индексации Илья Гудков, закрывать стоит - дубли, понижение позиций, а также повтор заголовков .. а на процесс индексации - влияет - она улучшается Александр - большое спасибо надеюсь поможет

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 10:23 AllCharge.online. Современный, быстрый и надёжный обменник 01:31 Сайты с зарубежным трафиком КУПЛЮ 20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?

Новые темы

Объявления

Свободное общение

22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума

04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC)
13:16 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
10:23 AllCharge.online. Современный, быстрый и надёжный обменник
01:31 Сайты с зарубежным трафиком КУПЛЮ
20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств

10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt