Нужен совет по robots.txt

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:00

Как все эти варианты закрыть от индексации?
Ребят, жесть, вариантов страниц очень много, пример:

Код

...?display=tube&filtre=date  
...?display=tube&filtre=views  
...?display=tube&filtre=duree  
...?display=tube&filtre=rate  
...?display=tube&filtre=random 
...?display=extract&filtre=date  
...?display=extract&filtre=views  
...?display=extract&filtre=duree  
...?display=extract&filtre=rate  
...?display=extract&filtre=random 
...?display=wall&filtre=date  
...?display=wall&filtre=views  
...?display=wall&filtre=duree  
...?display=wall&filtre=rate  
...?display=wall&filtre=random 
...?filtre=views&display=wall
...?filtre=duree&display=wall
...?filtre=date&display=wall
...?filtre=random&display=wall
...?filtre=rate&display=wall

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:02

disallow: /*?*

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:07

Цитата
span4bob пишет: disallow: /?

А что означает данный запрет? Все что после знака вопроса?
А вот так не подойдет?

Disallow: /*? - Это что будет означать?

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:11

Disallow: /*? - все страницы где на конце ? будут закрыты от индексации
disallow: /*?* закрыты все страницы с любым текстом до ? и после

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:13

GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса
здесь всё очень подробно расписано и приведены примеры.

В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:17

Цитата
Андрей П-Студия пишет: GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса здесь всё очень подробно расписано и приведены примеры.

С яндексом проблем нет, он послушный...) А вот гугл все жрет даже если стоят запреты в роботс...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:18

Цитата
span4bob пишет: Disallow: /? - все страницы где на конце ? будут закрыты от индексации disallow: /?* закрыты все страницы с любым текстом до ? и после

Я так понял, это самый оптимальный вариант в моем случае?

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:21

Цитата
GdeProfit пишет: А вот гугл все жрет даже если стоят запреты в роботс...

Всё верно. Роботс всего лишь дает директивы что делать с той или иной страницей боту ПС. А уж тот сам решает хавать страницу или нет.
Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:26

Цитата
Андрей П-Студия пишет: Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

А как можно?) Я знаю много вариантов для гугла, но в каждом есть минусы, идеального нет... хотя есть один...

Вот: http://imakescript.ru/novyiy-podhod-zapreta-indeksatsii-papki-ot-google/
Как думаете, хороший вариант?

Изменено: GdeProfit - 27 Ноября 2014 23:27

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#10

27 Ноября 2014 23:28

Disallow: /*? = disallow: /*?*
эти записи равносильны, т.к. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Цитата
User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#11

27 Ноября 2014 23:37

Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#12

27 Ноября 2014 23:41

Цитата
Андрей П-Студия пишет: Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

Уже реализовано... но всеравно в выдачу вылезли страницы...
Это ссылки, варианты сортировки в категориях видео:

Код

div class="filtre-container">
        
            Сортировать по :
        
            <span class="border-radius-5">latest <strong>&#9660;</strong></span>
            
            <ul class="filtre-list">
                <li class="selected"><a href="?display=tube&filtre=date">latest</a></li>
                <li ><a href="?display=tube&filtre=views">most viewed</a></li>
                
                <li ><a href="?display=tube&filtre=duree">longest</a></li>
                
                                    <li ><a href="?display=tube&filtre=rate">top rated</a></li>
                                <li ><a href="?display=tube&filtre=random">random</a></li>
            </ul><!-- .filtre-list -->
        
        </div><!-- .filtre-container -->       
    
        <div class="filtre-display">
        
            <span>Режим просмотра : </span>          
                
                <ul>
                    <li class="selected">
                        <a id="tube" href="?filtre=date&display=tube">tube</a>
                    </li>   
                    <li >
                    <a id="tube-extract" href="?filtre=date&display=extract">tube with extract</a>
                    </li>
                    <li >
                        <a id="wall" href="?filtre=date&display=wall">wall thumbnails</a>
                    </li>            
                </ul>
        
        </div><!-- .filtre-display -

Изменено: GdeProfit - 27 Ноября 2014 23:46

Похожие темы:

08.08.2023 20:51	Нужен совет по плагину Elementor
28.12.2022 12:15	Посоветуйте Бесплатный плагин Интернационализации сайта для Вордпресс
16.01.2021 15:01	Нужен плагин или хак для кэширования запросов базы данных
02.04.2020 19:27	Нужен специалист на вордпресс
24.02.2020 13:18	Нужен файл роботс для вордпресс.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:23 Подскажите нормальный сервис накрутки ПФ 15:44 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 19:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 11:41 2Index - быстрая индексация страниц сайта и обратных ссылок	01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 22:30 SOCKS5 приватные прокси на 30 дней для PayPal 22:29 Google Voice аккаунты для бесплатных SMS и звонков 22:29 PayPal аккаунты для любых целей 20:15 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 19:25 Whatsapp рассылки и реселлерская программа 17:01 Продажа горячих лидов под крипту / Crypto Leads for Sale	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?