Накосячил в robots.txt

Сообщений: 4 Регистрация: Дек 2012

14 Марта 2013 16:34

Подскажите пожалуйста, я накосячил в robots.txt.
На сайте есть страницы типа ?page=тема, они дублируются(есть такая необходимость) ?page=числовой_идентификатор. Чтобы один и тот же контент не был доступен по двум разным адресам(слышал, поисковики такое не любят), я решил заблокировать для индексации страницы ?page=числовой_идентификатор, но сделал это в robots.txt неправильно
Disallow: ?page=*
Соответственно, все страницы ?page= выпали из индекса.
robots.txt изменил, как теперь максимально быстро вернуть эти страницы в индекс? (около 500 штук). За 3 недели в индекс вернулось всего 30 страниц, остальные числятся в Яндекс.Вебмастере в "Исключенных страницах".

Александр Степанов

Сообщений: 4 Регистрация: Дек 2012

14 Марта 2013 16:42

И вопрос вдогонку.Как правильно заблокировать индексацию страниц ?page=любое_число
Совсем не хочется каждый УРЛ отдельной строкой в роботс вписывать

Coder

Сообщений: 10609 Регистрация: Мар 2013

14 Марта 2013 17:22

Цитата
Александр Степанов пишет: правильно заблокировать индексацию страниц ?page=любое_число

Думаю, что никак. Имхо.

Посмотрите, может, приходится:
Robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

mirturs

Сообщений: 995 Регистрация: Ноя 2010

14 Марта 2013 17:52

Может быть так:
?page=1*
?page=2*
?page=3*
И так далее?

Разместил сайт с 4000 хостов за 115 руб.мес на хостинге BeGet.ru
Ссылки, которые работают

megavolt

Сообщений: 39 Регистрация: Май 2011

14 Марта 2013 18:20

Для Яндекса прописать Clean-param: page
Для Гугла поместить "page" в панели вебмастера в раздел Параметры URL. Хотя он и сам с этим старается справляться

Дмитрий Мацкевич

Сообщений: 525 Регистрация: Янв 2012

14 Марта 2013 18:23

Ответ на вопрос кроется в Яндекс Вебмастере. Там можно протестить роботс.тхт в любом виде
Вернуть быстро - добавьте по одному комменту на каждую страницу и прогоните через твиттер. Для гугла прогоните еще и через аддурилку. Робот пройдет быстрее, а значит и переиндексирует быстрее. Правда, за 3 недели это врятли удастся =)

Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.

Дмитрий Данилов

Сообщений: 276 Регистрация: Июн 2011

15 Марта 2013 18:43

Цитата
megavolt пишет: Для Яндекса прописать Clean-param: page Для Гугла поместить "page" в панели вебмастера в раздел Параметры URL. Хотя он и сам с этим старается справляться

Можно поподробней, как это делается, (Clean-param: page - это прописать в robots.txt)

[COLOR=#373737]Я у себя по удалял все подобные хвосты, но дубли в вебмастере остались, попытки прописать через [/COLOR]robots.txt ничего не дали, робот всё равно находит страницу, и отказывается удалять. Даже если прописать каждый адрес отдельно.

megavolt

Сообщений: 39 Регистрация: Май 2011

16 Марта 2013 12:36

Цитата

Дмитрий Данилов пишет:

Цитата
megavolt пишет: Для Яндекса прописать Clean-param: page Для Гугла поместить "page" в панели вебмастера в раздел Параметры URL. Хотя он и сам с этим старается справляться

Можно поподробней, как это делается, (Clean-param: page - это прописать в robots.txt)

[COLOR=#373737]Да, в роботс. Полностью будет так:[/COLOR]

User-agent: Yandex
Disallow:
Clean-param: page
[COLOR=#373737]Вот справка Яндекса, там подробнее написано: help.yandex.ru/webmaster/?id=996567[/COLOR]

Изменено: megavolt - 16 Марта 2013 12:42

01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots
01.05.2016 10:01	Стоит ли в robots.txt закрывать страницы /page/ ?

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	17:13 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 16:45 Услуги продвижения в авито 15:40 TokenTrade — Ваш новый надежный обменник 15:15 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:22 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:07 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 10:54 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?