Помогите запретить

Сообщений: 668 Регистрация: Янв 2011

28 Апреля 2013 22:13

Почему поисковые роботы не смотрят на то, что написано в robot-е? Состаил его правильно, однако в Яндексе в индексе теги, которых я закрыл, а в гугле вообще и теги и страницы вложенности /2, /3, /4, /5... которые автоматом создаются при увеличении статей в рубриках.
Короче помогите с этим, дайте совет. И ещё один по поводу как закрыть от индексации не категории, а подкатегории...

Чат коммерсантов http://kommersant.august4u.ru/

Виталий Королев

Сообщений: 44 Регистрация: Янв 2013

28 Апреля 2013 22:44

Цитата

Батыр пишет:
Почему поисковые роботы не смотрят на то, что написано в robot-е? Состаил его правильно, однако в Яндексе в индексе теги, которых я закрыл, а в гугле вообще и теги и страницы вложенности /2, /3, /4, /5... которые автоматом создаются при увеличении статей в рубриках.
Короче помогите с этим, дайте совет. И ещё один по поводу как закрыть от индексации не категории, а подкатегории...

robots.txt тут выложи, посмотрим что не так.

Сапа нервно курит, биржа ссылок нового поколения

Батыр

Сообщений: 668 Регистрация: Янв 2011

28 Апреля 2013 23:04

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/*
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /tag/*
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: тут домен
Crawl-delay: 5

Sitemap: карта типа тут

Изменено: Батыр - 28 Апреля 2013 23:05

Юрий Сообщений: 158 Регистрация: Апр 2010	#4 28 Апреля 2013 23:35 Попробуй сделать так, как описано здесь: _http://alaev.info/blog/post/4143

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	18:38 Продажа аккаунтов HH.RU 13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 12:46 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 10:46 Linken Sphere – браузер-антидетект нового поколения 05:06 CoinCapital	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума

18:38 Продажа аккаунтов HH.RU
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
10:46 Linken Sphere – браузер-антидетект нового поколения
05:06 CoinCapital

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP