Нужен совет по robots.txt

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:00

Как все эти варианты закрыть от индексации?
Ребят, жесть, вариантов страниц очень много, пример:

Код

...?display=tube&filtre=date  
...?display=tube&filtre=views  
...?display=tube&filtre=duree  
...?display=tube&filtre=rate  
...?display=tube&filtre=random 
...?display=extract&filtre=date  
...?display=extract&filtre=views  
...?display=extract&filtre=duree  
...?display=extract&filtre=rate  
...?display=extract&filtre=random 
...?display=wall&filtre=date  
...?display=wall&filtre=views  
...?display=wall&filtre=duree  
...?display=wall&filtre=rate  
...?display=wall&filtre=random 
...?filtre=views&display=wall
...?filtre=duree&display=wall
...?filtre=date&display=wall
...?filtre=random&display=wall
...?filtre=rate&display=wall

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:02

disallow: /*?*

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:07

Цитата
span4bob пишет: disallow: /?

А что означает данный запрет? Все что после знака вопроса?
А вот так не подойдет?

Disallow: /*? - Это что будет означать?

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:11

Disallow: /*? - все страницы где на конце ? будут закрыты от индексации
disallow: /*?* закрыты все страницы с любым текстом до ? и после

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:13

GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса
здесь всё очень подробно расписано и приведены примеры.

В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:17

Цитата
Андрей П-Студия пишет: GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса здесь всё очень подробно расписано и приведены примеры.

С яндексом проблем нет, он послушный...) А вот гугл все жрет даже если стоят запреты в роботс...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:18

Цитата
span4bob пишет: Disallow: /? - все страницы где на конце ? будут закрыты от индексации disallow: /?* закрыты все страницы с любым текстом до ? и после

Я так понял, это самый оптимальный вариант в моем случае?

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:21

Цитата
GdeProfit пишет: А вот гугл все жрет даже если стоят запреты в роботс...

Всё верно. Роботс всего лишь дает директивы что делать с той или иной страницей боту ПС. А уж тот сам решает хавать страницу или нет.
Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:26

Цитата
Андрей П-Студия пишет: Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

А как можно?) Я знаю много вариантов для гугла, но в каждом есть минусы, идеального нет... хотя есть один...

Вот: http://imakescript.ru/novyiy-podhod-zapreta-indeksatsii-papki-ot-google/
Как думаете, хороший вариант?

Изменено: GdeProfit - 27 Ноября 2014 23:27

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#10

27 Ноября 2014 23:28

Disallow: /*? = disallow: /*?*
эти записи равносильны, т.к. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Цитата
User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#11

27 Ноября 2014 23:37

Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#12

27 Ноября 2014 23:41

Цитата
Андрей П-Студия пишет: Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

Уже реализовано... но всеравно в выдачу вылезли страницы...
Это ссылки, варианты сортировки в категориях видео:

Код

div class="filtre-container">
        
            Сортировать по :
        
            <span class="border-radius-5">latest <strong>&#9660;</strong></span>
            
            <ul class="filtre-list">
                <li class="selected"><a href="?display=tube&filtre=date">latest</a></li>
                <li ><a href="?display=tube&filtre=views">most viewed</a></li>
                
                <li ><a href="?display=tube&filtre=duree">longest</a></li>
                
                                    <li ><a href="?display=tube&filtre=rate">top rated</a></li>
                                <li ><a href="?display=tube&filtre=random">random</a></li>
            </ul><!-- .filtre-list -->
        
        </div><!-- .filtre-container -->       
    
        <div class="filtre-display">
        
            <span>Режим просмотра : </span>          
                
                <ul>
                    <li class="selected">
                        <a id="tube" href="?filtre=date&display=tube">tube</a>
                    </li>   
                    <li >
                    <a id="tube-extract" href="?filtre=date&display=extract">tube with extract</a>
                    </li>
                    <li >
                        <a id="wall" href="?filtre=date&display=wall">wall thumbnails</a>
                    </li>            
                </ul>
        
        </div><!-- .filtre-display -

Изменено: GdeProfit - 27 Ноября 2014 23:46

Похожие темы:

08.08.2023 20:51	Нужен совет по плагину Elementor
28.12.2022 12:15	Посоветуйте Бесплатный плагин Интернационализации сайта для Вордпресс
16.01.2021 15:01	Нужен плагин или хак для кэширования запросов базы данных
02.04.2020 19:27	Нужен специалист на вордпресс
24.02.2020 13:18	Нужен файл роботс для вордпресс.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:17 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 19:40 adsense в 2026: кто реально выводит копейку через киргизию? 14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 23:05 Раскрутка форума	17:18 SOCKS5 приватные прокси на 30 дней для PayPal 17:16 Google Voice аккаунты для бесплатных SMS и звонков 17:16 PayPal аккаунты для любых целей 15:11 HH.ru Работадателя вериф 14:49 4G/LTE Mobile Proxy 30+ geo 14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR \| актуальная тема сервиса 13:32 Мониторинг обменников Сrypto-scout.io	05:10 Точные прогнозы на футбол 22:38 Огородники 19:36 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода 10:11 О природе путешествий. 15:04 Сайты Рунета