Правильный robots.txt для DLE - какой он?
Страницы: Пред. 1 2
Правильный robots.txt для DLE - какой он?
Прямой и исчерпывающий ответ на Ваш вопрос: _http://alaev.info/blog/post/3900
Изменено: Антип Замкадов - 25 Сентября 2014 21:49
Вот мне тут подсказали, что можно закрыть эти ссылки в robots так disallow /год/. А ещё есть такой вариант - прописать в htaccess
Код
 REWRITERULE ^1990(.*)$ http://site.ru [L,R=301]
и таким же образом сделать для всех годов. Так вот, если я пропишу в htaccess все года, у меня сайт будет нормально индексироваться? Просто, для дублей прописывается что-то подобное. Вот закрываю я до 2014 года и получается, что все, что я добавил в 2014 году пропадет из выдачи? Или как? Какой способ лучше посоветуете сделать? В htaccess прописать или в robots?
Цитата
Школьник пишет:
Я сделал как Алайч написал, то есть в конфиге там прописал что он сказал, но так как я жуткий параноик я ещё и роботс сделал, такой получился:
Я не закрывал его:
Код
Disallow: /tags/
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф,  да и смысла не вижу тэги закрывать они  не мешают.   Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Цитата
вито пишет:
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф, да и смысла не вижу тэги закрывать они не мешают.
У меня сайт финансовой тематики, кредиты, банки, бизнес, деньги, экономика и т. п. когда делал его старался делать всё максимально приближено к идеальности, не каких дублей, не каких тегов, не чего того что я не контролирую:)
Цитата
vito пишет:
Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Сейчас блог делаю, вот тут думаю теги не закрывать:)

P.S. Я всегда стараюсь думать и прежде чем что то делать изучаю блоги, форумы, мнения и т. п.
P.P.S. В любом случае, спасибо за совет:)
А мне что писать-то? Как я понял, если я введу disallow /2014/ и если у меня в адресной строке будет цифра 2014, то эта страница не будет индексироваться или что?
Никто не знает что ли?
Ну, помогите, кто-нибудь! Пожалуйста! Я устал бороться с этими ссылками!!!
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
08:23 Rotapost прикрыли! Чем пользоваться? 
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:41 SOCKS5 приватные прокси на 30 дней для PayPal 
22:41 Google Voice аккаунты для бесплатных SMS и звонков 
22:40 PayPal аккаунты для любых целей 
18:24 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
16:59 Сайты с зарубежным трафиком КУПЛЮ 
16:50 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь