Нужен совет по robots.txt

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:00

Как все эти варианты закрыть от индексации?
Ребят, жесть, вариантов страниц очень много, пример:

Код

...?display=tube&filtre=date  
...?display=tube&filtre=views  
...?display=tube&filtre=duree  
...?display=tube&filtre=rate  
...?display=tube&filtre=random 
...?display=extract&filtre=date  
...?display=extract&filtre=views  
...?display=extract&filtre=duree  
...?display=extract&filtre=rate  
...?display=extract&filtre=random 
...?display=wall&filtre=date  
...?display=wall&filtre=views  
...?display=wall&filtre=duree  
...?display=wall&filtre=rate  
...?display=wall&filtre=random 
...?filtre=views&display=wall
...?filtre=duree&display=wall
...?filtre=date&display=wall
...?filtre=random&display=wall
...?filtre=rate&display=wall

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:02

disallow: /*?*

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:07

Цитата
span4bob пишет: disallow: /?

А что означает данный запрет? Все что после знака вопроса?
А вот так не подойдет?

Disallow: /*? - Это что будет означать?

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:11

Disallow: /*? - все страницы где на конце ? будут закрыты от индексации
disallow: /*?* закрыты все страницы с любым текстом до ? и после

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:13

GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса
здесь всё очень подробно расписано и приведены примеры.

В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:17

Цитата
Андрей П-Студия пишет: GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса здесь всё очень подробно расписано и приведены примеры.

С яндексом проблем нет, он послушный...) А вот гугл все жрет даже если стоят запреты в роботс...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:18

Цитата
span4bob пишет: Disallow: /? - все страницы где на конце ? будут закрыты от индексации disallow: /?* закрыты все страницы с любым текстом до ? и после

Я так понял, это самый оптимальный вариант в моем случае?

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:21

Цитата
GdeProfit пишет: А вот гугл все жрет даже если стоят запреты в роботс...

Всё верно. Роботс всего лишь дает директивы что делать с той или иной страницей боту ПС. А уж тот сам решает хавать страницу или нет.
Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:26

Цитата
Андрей П-Студия пишет: Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

А как можно?) Я знаю много вариантов для гугла, но в каждом есть минусы, идеального нет... хотя есть один...

Вот: http://imakescript.ru/novyiy-podhod-zapreta-indeksatsii-papki-ot-google/
Как думаете, хороший вариант?

Изменено: GdeProfit - 27 Ноября 2014 23:27

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#10

27 Ноября 2014 23:28

Disallow: /*? = disallow: /*?*
эти записи равносильны, т.к. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Цитата
User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#11

27 Ноября 2014 23:37

Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#12

27 Ноября 2014 23:41

Цитата
Андрей П-Студия пишет: Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

Уже реализовано... но всеравно в выдачу вылезли страницы...
Это ссылки, варианты сортировки в категориях видео:

Код

div class="filtre-container">
        
            Сортировать по :
        
            <span class="border-radius-5">latest <strong>&#9660;</strong></span>
            
            <ul class="filtre-list">
                <li class="selected"><a href="?display=tube&filtre=date">latest</a></li>
                <li ><a href="?display=tube&filtre=views">most viewed</a></li>
                
                <li ><a href="?display=tube&filtre=duree">longest</a></li>
                
                                    <li ><a href="?display=tube&filtre=rate">top rated</a></li>
                                <li ><a href="?display=tube&filtre=random">random</a></li>
            </ul><!-- .filtre-list -->
        
        </div><!-- .filtre-container -->       
    
        <div class="filtre-display">
        
            <span>Режим просмотра : </span>          
                
                <ul>
                    <li class="selected">
                        <a id="tube" href="?filtre=date&display=tube">tube</a>
                    </li>   
                    <li >
                    <a id="tube-extract" href="?filtre=date&display=extract">tube with extract</a>
                    </li>
                    <li >
                        <a id="wall" href="?filtre=date&display=wall">wall thumbnails</a>
                    </li>            
                </ul>
        
        </div><!-- .filtre-display -

Изменено: GdeProfit - 27 Ноября 2014 23:46

Похожие темы:

08.08.2023 20:51	Нужен совет по плагину Elementor
28.12.2022 12:15	Посоветуйте Бесплатный плагин Интернационализации сайта для Вордпресс
16.01.2021 15:01	Нужен плагин или хак для кэширования запросов базы данных
02.04.2020 19:27	Нужен специалист на вордпресс
24.02.2020 13:18	Нужен файл роботс для вордпресс.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
06:32 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 06:28 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 23:09 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума? 13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 09:26 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 19:27 Плагин ответа	09:12 Swapwatch.org — Мониторинг криптовалютных обменников 09:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:25 SOCKS5 приватные прокси на 30 дней для PayPal 23:24 Google Voice аккаунты для бесплатных SMS и звонков 23:23 PayPal аккаунты для любых целей 23:02 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 20:21 CryptoGraph — Анонимный обмен криптовалют без KYC и AML	10:59 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 06:26 Ставки на супер тренды в спорте 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 22:30 Точные прогнозы на футбол 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем