Нужен совет по robots.txt

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:00

Как все эти варианты закрыть от индексации?
Ребят, жесть, вариантов страниц очень много, пример:

Код

...?display=tube&filtre=date  
...?display=tube&filtre=views  
...?display=tube&filtre=duree  
...?display=tube&filtre=rate  
...?display=tube&filtre=random 
...?display=extract&filtre=date  
...?display=extract&filtre=views  
...?display=extract&filtre=duree  
...?display=extract&filtre=rate  
...?display=extract&filtre=random 
...?display=wall&filtre=date  
...?display=wall&filtre=views  
...?display=wall&filtre=duree  
...?display=wall&filtre=rate  
...?display=wall&filtre=random 
...?filtre=views&display=wall
...?filtre=duree&display=wall
...?filtre=date&display=wall
...?filtre=random&display=wall
...?filtre=rate&display=wall

► Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

► Новая биржа контента: цена = качество!

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:02

disallow: /*?*

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:07

Цитата
span4bob пишет: disallow: /?

А что означает данный запрет? Все что после знака вопроса?
А вот так не подойдет?

Disallow: /*? - Это что будет означать?

span4bob

Сообщений: 6461 Регистрация: Апр 2013

27 Ноября 2014 23:11

Disallow: /*? - все страницы где на конце ? будут закрыты от индексации
disallow: /*?* закрыты все страницы с любым текстом до ? и после

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:13

GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса
здесь всё очень подробно расписано и приведены примеры.

В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:17

Цитата
Андрей П-Студия пишет: GdeProfit, ознакомьтесь, как правильно составлять Robots.txt у Яндекса здесь всё очень подробно расписано и приведены примеры.

С яндексом проблем нет, он послушный...) А вот гугл все жрет даже если стоят запреты в роботс...

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:18

Цитата
span4bob пишет: Disallow: /? - все страницы где на конце ? будут закрыты от индексации disallow: /?* закрыты все страницы с любым текстом до ? и после

Я так понял, это самый оптимальный вариант в моем случае?

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

27 Ноября 2014 23:21

Цитата
GdeProfit пишет: А вот гугл все жрет даже если стоят запреты в роботс...

Всё верно. Роботс всего лишь дает директивы что делать с той или иной страницей боту ПС. А уж тот сам решает хавать страницу или нет.
Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

27 Ноября 2014 23:26

Цитата
Андрей П-Студия пишет: Робот Гугла хавает все подряд. И роботсом вам не удастся запретить ему ничего.

А как можно?) Я знаю много вариантов для гугла, но в каждом есть минусы, идеального нет... хотя есть один...

Вот: http://imakescript.ru/novyiy-podhod-zapreta-indeksatsii-papki-ot-google/
Как думаете, хороший вариант?

Изменено: GdeProfit - 27 Ноября 2014 23:27

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#10

27 Ноября 2014 23:28

Disallow: /*? = disallow: /*?*
эти записи равносильны, т.к. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Цитата
User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое

Андрей П-Студия

Сообщений: 774 Регистрация: Май 2010

#11

27 Ноября 2014 23:37

Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

GdeProfit

Сообщений: 542 Регистрация: Сен 2013

#12

27 Ноября 2014 23:41

Цитата
Андрей П-Студия пишет: Мне кажется, в вашем случае нужно воспользоваться атрибутом rel="canonical"

Уже реализовано... но всеравно в выдачу вылезли страницы...
Это ссылки, варианты сортировки в категориях видео:

Код

div class="filtre-container">
        
            Сортировать по :
        
            <span class="border-radius-5">latest <strong>&#9660;</strong></span>
            
            <ul class="filtre-list">
                <li class="selected"><a href="?display=tube&filtre=date">latest</a></li>
                <li ><a href="?display=tube&filtre=views">most viewed</a></li>
                
                <li ><a href="?display=tube&filtre=duree">longest</a></li>
                
                                    <li ><a href="?display=tube&filtre=rate">top rated</a></li>
                                <li ><a href="?display=tube&filtre=random">random</a></li>
            </ul><!-- .filtre-list -->
        
        </div><!-- .filtre-container -->       
    
        <div class="filtre-display">
        
            <span>Режим просмотра : </span>          
                
                <ul>
                    <li class="selected">
                        <a id="tube" href="?filtre=date&display=tube">tube</a>
                    </li>   
                    <li >
                    <a id="tube-extract" href="?filtre=date&display=extract">tube with extract</a>
                    </li>
                    <li >
                        <a id="wall" href="?filtre=date&display=wall">wall thumbnails</a>
                    </li>            
                </ul>
        
        </div><!-- .filtre-display -

Изменено: GdeProfit - 27 Ноября 2014 23:46

Похожие темы:

08.08.2023 20:51	Нужен совет по плагину Elementor
28.12.2022 12:15	Посоветуйте Бесплатный плагин Интернационализации сайта для Вордпресс
16.01.2021 15:01	Нужен плагин или хак для кэширования запросов базы данных
02.04.2020 19:27	Нужен специалист на вордпресс
24.02.2020 13:18	Нужен файл роботс для вордпресс.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
23:34 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 23:07 Как Яндекс индексирует ваш сайт? \| АПдейт выдача 8.12.2025 22:52 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:12 Покупные ссылки 12:57 Rotapost прикрыли! Чем пользоваться? 17:00 Стоит ли добавлять сайт в Rambler топ 100?	23:01 Ру трафик с джоб сайтов 17:24 JustProxy.Biz - Резидентные прокси без ограничения по трафику 16:38 GhostRocket.pro — Взлетаем в новую эру криптообмена! 15:31 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 15:31 Trustpilot Reviews \| Подниму рейтинг вашей компании 15:30 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 15:29 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж	00:02 С юмором по жизни! 22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb 16:50 Компьютерная мышь 23:03 Точные прогнозы на футбол