Кто шарит в robots WP?

Сообщений: 542 Регистрация: Сен 2013

18 Ноября 2014 08:45

Привет!У меня на сайте есть раздел где видео можно сортировать по разным показателям: просмотры, рейтинг и т.д. Но в выдачи они мне не нужны...
Как прописать в роботс запрет на ссылки эти?

...?display=tube&filtre=date
...?display=tube&filtre=views
...?display=tube&filtre=duree
...?display=tube&filtre=rate
...?display=tube&filtre=random

Я предполагаю, вот эти значения прописать?

Disallow: /*?
Disallow: /*?*

Изменено: GdeProfit - 18 Ноября 2014 08:51

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

18 Ноября 2014 10:32

чтобы наверняка было, и не убрать ничего лишнего: Disallow: /*?display=tube* или можно прописать так Disallow: /*display=tube&filtre=date и так все 5 или сколько у тебя вариантов сортировки, а если у тебя таких вариантов оч много, тогда первое

50 т.р. в месяц на киносайте РЕГИСТРАЦИЯ - обучаю рефералов, в ЛС

Лучшая партнерка - 25 т.р. в месяц РЕГИСТРАЦИЯ

Качественные дешевые статьи КУПИТЬ

Fill

Сообщений: 127 Регистрация: Окт 2014

18 Ноября 2014 12:30

Цитата
GdeProfit пишет: Я предполагаю, вот эти значения прописать? Disallow: /? Disallow: /?*

Так точно нельзя делать - много полезного будет недоступно ПС ботам. Все зависит о числа таких сортировок. Я бы использовал второй вариант, предложенный Владом Мищенко.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

18 Ноября 2014 15:30

Цитата
Fill пишет: Так точно нельзя делать - много полезного будет недоступно ПС ботам

Что например?)

Цитата
Fill пишет: Я бы использовал второй вариант, предложенный Владом Мищенко

Вот так? Disallow: /*display=tube&filtre=date
* не лишняя, после / ?

dima

Сообщений: 54 Регистрация: Авг 2013

18 Ноября 2014 17:17

может на самой странице использовать nofollow,noindex а робот не трогать? наоборот открыть доступ к индексации, менше хлопот с "соплями" гугл,он ведь сьедает почти все,но в выдачу пускает основное,а так робот будет видеть что страница открыта,но на странице с отсортированым материалом будет запрещающий тег,который запрещает индексацию. ведь робот поисковики используют по своему усмотрению,у меня такие страницы попали в индекс но пишет "информация не доступна из за запрета в роботс.txt"

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

18 Ноября 2014 22:27

Цитата
dima пишет: может на самой странице использовать nofollow,noindex

Эта страница нужна мне открытая...)

Вот все линки которые нужно как-то закрыть:

Код

<ul class="filtre-list">
<li class="selected"><a href="?display=tube&filtre=date">latest</a></li>
<li ><a href="?display=tube&filtre=views">most viewed</a></li>
<li ><a href="?display=tube&filtre=duree">longest</a></li>
<li ><a href="?display=tube&filtre=rate">top rated</a></li>
<li ><a href="?display=tube&filtre=random">random</a></li>
</ul><!-- .filtre-list -->
        
</div><!-- .filtre-container -->       
    
<div class="filtre-display">
        
<span>Режим просмотра : </span>          
                
<ul>
<li class="selected">
<a id="tube" href="?filtre=date&display=tube">tube</a>
</li>   
<li >
<a id="tube-extract" href="?filtre=date&display=extract">tube with extract</a>
</li>
<li >
<a id="wall" href="?filtre=date&display=wall">wall thumbnails</a>
</li>            
</ul>

[TABLE]

[/TABLE]
Что скажите?)

Fill

Сообщений: 127 Регистрация: Окт 2014

19 Ноября 2014 17:49

Цитата
GdeProfit пишет: Вот так? Disallow: /display=tube&filtre=date не лишняя, после / ?

Да вот так. Лишняя не будет, так как показывает начало строки и то что может быть еще что-то между слешем и displayю Во всяком случае сделайте так и проверьте роботс в каком-то ВМ

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

21 Ноября 2014 04:05

Цитата

Fill пишет:

Цитата
GdeProfit пишет: Вот так? Disallow: /display=tube&filtre=date не лишняя, после / ?

Так и поступил, посмотрим что скажут ПС...)

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

21 Ноября 2014 04:12

Цитата

GdeProfit пишет:

Цитата

Fill пишет:

Цитата
GdeProfit пишет: Вот так? Disallow: /display=tube&filtre=date не лишняя, после / ?

Так и поступил, посмотрим что скажут ПС...)

Получилось как-то так:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: /*display=tube&filtre=date
Disallow: /*display=tube&filtre=views
Disallow: /*display=tube&filtre=duree
Disallow: /*display=tube&filtre=rate
Disallow: /*display=tube&filtre=random
Disallow: /*filtre=random&display=tube
Disallow: /*filtre=random&display=extract
Disallow: /*filtre=random&display=wall
Host: ...
Sitemap: ...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#10

27 Ноября 2014 22:33

Как все эти варианты закрыть от индексации?
Ребят, жесть, вариантов страниц очень много, пример:

...?display=tube&filtre=date
...?display=tube&filtre=views
...?display=tube&filtre=duree
...?display=tube&filtre=rate
...?display=tube&filtre=random
...?display=extract&filtre=date
...?display=extract&filtre=views
...?display=extract&filtre=duree
...?display=extract&filtre=rate
...?display=extract&filtre=random
...?display=wall&filtre=date
...?display=wall&filtre=views
...?display=wall&filtre=duree
...?display=wall&filtre=rate
...?display=wall&filtre=random

Изменено: GdeProfit - 27 Ноября 2014 22:34

Василиса

Сообщений: 17 Регистрация: Апр 2013

#11

28 Ноября 2014 10:36

Настройте rel="canonical" на страницах сортировки. Тогда закрывать ничего не нужно будет в роботс и страницы в поиске участвовать не будут

Штырлиц

Сообщений: 858 Регистрация: Апр 2011

#12

28 Ноября 2014 11:33

если страницы которые должны быть в поиске имеют нормальный вид, тобишь без спец символов, типа как у вас знак вопроса, то вариант Disallow: /*? самый правильный.

ⓥ Три колечка цепляются друг за друга: ненависть от гнева, гнев от гордости
☠ Парсер контента для Wordpress
Записник WP http://wpcodeblog.wordpress.com/

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#13

28 Ноября 2014 18:25

Цитата
Василиса пишет: Настройте rel="canonical" на страницах сортировки. Тогда закрывать ничего не нужно будет в роботс и страницы в поиске участвовать не будут

Настроен, всеравно эти страницы попадают в индекс... Это ссылки в категориях, которые сортируют видео по разным показателям...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#14

28 Ноября 2014 18:25

Цитата
Штырлиц пишет: если страницы которые должны быть в поиске имеют нормальный вид

Все нужные страницы без знака вопроса...

Похожие темы:

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 08:12 ру гембла 09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче	23:00 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 23:00 Trustpilot Reviews \| Подниму рейтинг вашей компании 22:59 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 22:59 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 22:04 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:58 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 19:30 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust	03:07 Всего п онемногу 12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...