Накосячил в robots.txt
Страницы: 1
Накосячил в robots.txt
Подскажите пожалуйста, я накосячил в robots.txt.
На сайте есть страницы типа ?page=тема, они дублируются(есть такая необходимость) ?page=числовой_идентификатор. Чтобы один и тот же контент не был доступен по двум разным адресам(слышал, поисковики такое не любят), я решил заблокировать для индексации страницы ?page=числовой_идентификатор, но сделал это в robots.txt неправильно
Disallow: ?page=*
Соответственно, все страницы ?page= выпали из индекса.
robots.txt изменил, как теперь максимально быстро вернуть эти страницы в индекс? (около 500 штук). За 3 недели в индекс вернулось всего 30 страниц, остальные числятся в Яндекс.Вебмастере в "Исключенных страницах".
И вопрос вдогонку.Как правильно заблокировать индексацию страниц ?page=любое_число
Совсем не хочется каждый УРЛ отдельной строкой в роботс вписывать
Цитата
Александр Степанов пишет:
правильно заблокировать индексацию страниц ?page=любое_число
Думаю, что никак. Имхо.

Посмотрите, может, приходится:
Robots.txt
Может быть так:
?page=1*
?page=2*
?page=3*
И так далее?
Разместил сайт с 4000 хостов за 115 руб.мес на хостинге BeGet.ru
Ссылки, которые работают
Для Яндекса прописать Clean-param: page
Для Гугла поместить "page" в панели вебмастера  в раздел Параметры URL. Хотя он и сам с этим старается справляться
Ответ на вопрос кроется в Яндекс Вебмастере. Там можно протестить роботс.тхт в любом виде
Вернуть быстро - добавьте по одному комменту на каждую страницу и прогоните через твиттер. Для гугла прогоните еще и через аддурилку. Робот пройдет быстрее, а значит и переиндексирует быстрее. Правда, за 3 недели это врятли удастся =)
Возьму один коммерческий сайт на продвижение с бюджетом 700$ и выше под Русско язычную аудиторию.
Цитата
megavolt пишет:
Для Яндекса прописать Clean-param: page
Для Гугла поместить "page" в панели вебмастера в раздел Параметры URL. Хотя он и сам с этим старается справляться
Можно поподробней, как это делается, (Clean-param: page - это прописать в robots.txt) 

[COLOR=#373737]Я у себя по удалял все подобные хвосты, но дубли в вебмастере остались, попытки прописать через [/COLOR]robots.txt ничего не дали, робот всё равно находит страницу, и отказывается удалять. Даже если прописать каждый адрес отдельно.
Цитата
Дмитрий Данилов пишет:
Цитата
megavolt пишет:
Для Яндекса прописать Clean-param: page
Для Гугла поместить "page" в панели вебмастера в раздел Параметры URL. Хотя он и сам с этим старается справляться
Можно поподробней, как это делается, (Clean-param: page - это прописать в robots.txt)

[COLOR=#373737]Да, в роботс. Полностью будет так:[/COLOR]

User-agent: Yandex
Disallow:
Clean-param: page
[COLOR=#373737]Вот справка Яндекса, там подробнее написано: help.yandex.ru/webmaster/?id=996567[/COLOR]
Изменено: megavolt - 16 Марта 2013 12:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:31 Всем привет! 
20:37 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
14:06 Слипание слов в блоке 
14:02 APK на паузе. Google убивает быстрый конверт 
11:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
19:37 Xrumer-полезный софт или нет? 
17:26 AI под надзором. Минцифры готовят клеймо для контента 
23:14 E-currency.exchange — ваш помощник в мире обменов 
22:34 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:33 Продам жирный аккаунт fl.ru 
17:25 Подключение к API слотов! Connecting to the slots API! 
14:10 Авито аккаунты ИП и физик 
13:34 AllCharge.online. Современный, быстрый и надёжный обменник 
13:14 TETChange-Обменник криптовалют 
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
17:45 молодильные яблоки и живая вода 
15:04 Сайты Рунета 
01:42 Точные прогнозы на футбол 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:23 Панель Кнопки соцсетей 
14:03 Огородники