Помогите запретить

Сообщений: 668 Регистрация: Янв 2011

28 Апреля 2013 22:13

Почему поисковые роботы не смотрят на то, что написано в robot-е? Состаил его правильно, однако в Яндексе в индексе теги, которых я закрыл, а в гугле вообще и теги и страницы вложенности /2, /3, /4, /5... которые автоматом создаются при увеличении статей в рубриках.
Короче помогите с этим, дайте совет. И ещё один по поводу как закрыть от индексации не категории, а подкатегории...

Чат коммерсантов http://kommersant.august4u.ru/

Виталий Королев

Сообщений: 44 Регистрация: Янв 2013

28 Апреля 2013 22:44

Цитата

Батыр пишет:
Почему поисковые роботы не смотрят на то, что написано в robot-е? Состаил его правильно, однако в Яндексе в индексе теги, которых я закрыл, а в гугле вообще и теги и страницы вложенности /2, /3, /4, /5... которые автоматом создаются при увеличении статей в рубриках.
Короче помогите с этим, дайте совет. И ещё один по поводу как закрыть от индексации не категории, а подкатегории...

robots.txt тут выложи, посмотрим что не так.

Сапа нервно курит, биржа ссылок нового поколения

Батыр

Сообщений: 668 Регистрация: Янв 2011

28 Апреля 2013 23:04

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/*
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /page/
Disallow: /tag/*
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: тут домен
Crawl-delay: 5

Sitemap: карта типа тут

Изменено: Батыр - 28 Апреля 2013 23:05

Юрий Сообщений: 158 Регистрация: Апр 2010	#4 28 Апреля 2013 23:35 Попробуй сделать так, как описано здесь: _http://alaev.info/blog/post/4143

Новые темы	Объявления	Свободное общение
21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 21:25 Раскрутка форума 18:43 ПС Baidu захватит мир! надевайте тазики 18:22 adsense в 2026: кто реально выводит копейку через киргизию? 17:19 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 17:13 Бесплатное получение бэклинков 15:27 С чего сейчас проще начать?	21:00 Portfel.cc - современный помощник в Ваших финансовых операциях. 19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB \| Мобильные-$2/GB \| Datacenter-$1/GB \| PREMIUM-$4 /GB 15:05 Mixmasters - Exchange without AML and KYC 13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 11:11 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:11 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:11 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод	18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники 13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:02 С юмором по жизни! 05:10 Точные прогнозы на футбол 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода

Новые темы

Объявления

Свободное общение

21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?
21:25 Раскрутка форума
18:43 ПС Baidu захватит мир! надевайте тазики
18:22 adsense в 2026: кто реально выводит копейку через киргизию?
17:19 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
17:13 Бесплатное получение бэклинков
15:27 С чего сейчас проще начать?

21:00 Portfel.cc - современный помощник в Ваших финансовых операциях.
19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB | Мобильные-$2/GB | Datacenter-$1/GB | PREMIUM-$4 /GB
15:05 Mixmasters - Exchange without AML and KYC
13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок.
11:11 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата
11:11 Trustpilot Reviews | Подниму рейтинг вашей компании
11:11 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод

18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
17:05 Огородники
13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
13:02 С юмором по жизни!
05:10 Точные прогнозы на футбол
16:47 Какой фильм вы любите посмотреть перед сном?
15:46 молодильные яблоки и живая вода

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP