Как закрыть в робот.тхт такие ссылки?

Как закрыть в робот.тхт такие ссылки?, http://сайт.ru/2013/01/14/название/?replytocom=4

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 09:42

Добрый день.
Подскажите пожалуйста как должен выглядеть Disallow чтобы закрыть все варианты /?replytocom=4 .... на всем сайте, при том, что число может изменяться до бесконечности.
Спасибо.
С уважением ко всем.

Это не важно... важен лишь цвет травы (с)

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

15 Августа 2013 09:59

Millioner,
а нелья сделать просто чтобы на страницах которые по адресу ?replytocom=4 .... в исходном коде добавлялся тег
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице,
Боле подробнее тут http://help.yandex.ru/webmaster/?id=1127756

ICQ: 647366012 Skype: ftpzerocool</b>

Coder

Сообщений: 10712 Регистрация: Мар 2013

15 Августа 2013 10:09

Disallow: /?replytocom=4

Посмотрите:

_http://htmlweb.ru/analiz/robots.php

_http://robotstxt.org.ru/robotsexclusion/guide

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Millioner

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 10:32

Цитата
Coder пишет: Disallow: /?replytocom=4

Это я знаю, а вот как закрыть все страницы? 4, 90, 99999, я же не буду переписывать все цифры.
Знаю что как то так:
Disallow: */?replytocom=* - может так?

Coder

Сообщений: 10712 Регистрация: Мар 2013

15 Августа 2013 10:42

Цитата
Millioner пишет: а вот как закрыть все страницы? 4, 90, 99999, я же не буду переписывать все цифры.

Disallow: /?replytocom=

Путь указывается от корня и все, что начинается с указанного.

Millioner

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 10:47

Спасибо большое!

Coder

Сообщений: 10712 Регистрация: Мар 2013

15 Августа 2013 10:56

Пожалуйста smile:)

Цитата

Обратите внимание на / в конце названия директории! Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/". А строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

vinnica

Сообщений: 1019 Регистрация: Окт 2010

15 Августа 2013 11:34

Цитата
Coder пишет: Disallow: /?replytocom=

у меня однажды цеплялось к страинце сессия типа так ?vi=76476476476 (скрипт глюканул) и все эти страницы массово влезали в индекс
скрипт я поправил и в роботсе закрыл таким образом Disallow: *?vi=*

помогло.

vinnica

Сообщений: 1019 Регистрация: Окт 2010

15 Августа 2013 11:37

Цитата

Coder пишет:
Пожалуйста smile:)

Цитата

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

хз. у меня в роботсе много звездочек - как бы закрывают то что нужно. задумался. почитаю ...

Coder

Сообщений: 10712 Регистрация: Мар 2013

#10

15 Августа 2013 14:31

Цитата
vinnica пишет: хз. у меня в роботсе много звездочек - как бы закрывают то что нужно. задумался. почитаю ...

Так я ж не настиваю - это только мое мнение - точнее, подход к решению и используемая информация.

P.S. Для яндекса возможно использование * и $

Имхо.

Таня Сообщений: 234 Регистрация: Мар 2012	#11 6 Октября 2013 02:54 подскажите пожалуйста, кто знает.А можно в роботс закрыть вот такие ссылки : dfiles.ru/files/1lp25kucx www.unibytes.com/8FdJ3.aEELoLqw-Us4P3UgBB ну например поставить вот так : Disalow: dfiles.ru/files/ Disalow: www.unibytes.com/ отвветьте плиз кто знает, закроются они или нет? или еще слеш // перед ними поставить?

Похожие темы:

04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
14.06.2022 17:37	Что делать с роботностью?
03.12.2021 19:52	Как в SMF форуме закрыть ссылки с сообщения в nofollow?
16.03.2021 17:04	Как закрыть такую страницу - https://сайт.com/2021/01/15/
19.01.2021 13:01	фото как закрыть от индексации

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:59 Mixmasters - Exchange without AML and KYC 09:05 Swapwatch.org — Мониторинг криптовалютных обменников 08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена!	23:25 Точные прогнозы на футбол 21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:24 Сайты Рунета 15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?