Как закрыть в робот.тхт такие ссылки?

Как закрыть в робот.тхт такие ссылки?, http://сайт.ru/2013/01/14/название/?replytocom=4

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 09:42

Добрый день.
Подскажите пожалуйста как должен выглядеть Disallow чтобы закрыть все варианты /?replytocom=4 .... на всем сайте, при том, что число может изменяться до бесконечности.
Спасибо.
С уважением ко всем.

Это не важно... важен лишь цвет травы (с)

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

15 Августа 2013 09:59

Millioner,
а нелья сделать просто чтобы на страницах которые по адресу ?replytocom=4 .... в исходном коде добавлялся тег
<meta name="robots" content="noindex"/> — не индексировать текст страницы,
<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице,
Боле подробнее тут http://help.yandex.ru/webmaster/?id=1127756

ICQ: 647366012 Skype: ftpzerocool</b>

Coder

Сообщений: 10610 Регистрация: Мар 2013

15 Августа 2013 10:09

Disallow: /?replytocom=4

Посмотрите:

_http://htmlweb.ru/analiz/robots.php

_http://robotstxt.org.ru/robotsexclusion/guide

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Millioner

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 10:32

Цитата
Coder пишет: Disallow: /?replytocom=4

Это я знаю, а вот как закрыть все страницы? 4, 90, 99999, я же не буду переписывать все цифры.
Знаю что как то так:
Disallow: */?replytocom=* - может так?

Coder

Сообщений: 10610 Регистрация: Мар 2013

15 Августа 2013 10:42

Цитата
Millioner пишет: а вот как закрыть все страницы? 4, 90, 99999, я же не буду переписывать все цифры.

Disallow: /?replytocom=

Путь указывается от корня и все, что начинается с указанного.

Millioner

Сообщений: 175 Регистрация: Июл 2010

15 Августа 2013 10:47

Спасибо большое!

Coder

Сообщений: 10610 Регистрация: Мар 2013

15 Августа 2013 10:56

Пожалуйста smile:)

Цитата

Обратите внимание на / в конце названия директории! Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/". А строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

vinnica

Сообщений: 1019 Регистрация: Окт 2010

15 Августа 2013 11:34

Цитата
Coder пишет: Disallow: /?replytocom=

у меня однажды цеплялось к страинце сессия типа так ?vi=76476476476 (скрипт глюканул) и все эти страницы массово влезали в индекс
скрипт я поправил и в роботсе закрыл таким образом Disallow: *?vi=*

помогло.

vinnica

Сообщений: 1019 Регистрация: Окт 2010

15 Августа 2013 11:37

Цитата

Coder пишет:
Пожалуйста smile:)

Цитата

Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.

хз. у меня в роботсе много звездочек - как бы закрывают то что нужно. задумался. почитаю ...

Coder

Сообщений: 10610 Регистрация: Мар 2013

#10

15 Августа 2013 14:31

Цитата
vinnica пишет: хз. у меня в роботсе много звездочек - как бы закрывают то что нужно. задумался. почитаю ...

Так я ж не настиваю - это только мое мнение - точнее, подход к решению и используемая информация.

P.S. Для яндекса возможно использование * и $

Имхо.

Таня Сообщений: 234 Регистрация: Мар 2012	#11 6 Октября 2013 02:54 подскажите пожалуйста, кто знает.А можно в роботс закрыть вот такие ссылки : dfiles.ru/files/1lp25kucx www.unibytes.com/8FdJ3.aEELoLqw-Us4P3UgBB ну например поставить вот так : Disalow: dfiles.ru/files/ Disalow: www.unibytes.com/ отвветьте плиз кто знает, закроются они или нет? или еще слеш // перед ними поставить?

Похожие темы:

04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
14.06.2022 17:37	Что делать с роботностью?
03.12.2021 19:52	Как в SMF форуме закрыть ссылки с сообщения в nofollow?
16.03.2021 17:04	Как закрыть такую страницу - https://сайт.com/2021/01/15/
19.01.2021 13:01	фото как закрыть от индексации

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	20:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 13:51 Скрипт обменника валют 07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?