Правильный robots.txt для DLE - какой он?
Страницы: Пред. 1 2
Правильный robots.txt для DLE - какой он?
Прямой и исчерпывающий ответ на Ваш вопрос: _http://alaev.info/blog/post/3900
Изменено: Антип Замкадов - 25 Сентября 2014 21:49
Вот мне тут подсказали, что можно закрыть эти ссылки в robots так disallow /год/. А ещё есть такой вариант - прописать в htaccess
Код
 REWRITERULE ^1990(.*)$ http://site.ru [L,R=301]
и таким же образом сделать для всех годов. Так вот, если я пропишу в htaccess все года, у меня сайт будет нормально индексироваться? Просто, для дублей прописывается что-то подобное. Вот закрываю я до 2014 года и получается, что все, что я добавил в 2014 году пропадет из выдачи? Или как? Какой способ лучше посоветуете сделать? В htaccess прописать или в robots?
Цитата
Школьник пишет:
Я сделал как Алайч написал, то есть в конфиге там прописал что он сказал, но так как я жуткий параноик я ещё и роботс сделал, такой получился:
Я не закрывал его:
Код
Disallow: /tags/
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф,  да и смысла не вижу тэги закрывать они  не мешают.   Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Цитата
вито пишет:
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф, да и смысла не вижу тэги закрывать они не мешают.
У меня сайт финансовой тематики, кредиты, банки, бизнес, деньги, экономика и т. п. когда делал его старался делать всё максимально приближено к идеальности, не каких дублей, не каких тегов, не чего того что я не контролирую:)
Цитата
vito пишет:
Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Сейчас блог делаю, вот тут думаю теги не закрывать:)

P.S. Я всегда стараюсь думать и прежде чем что то делать изучаю блоги, форумы, мнения и т. п.
P.P.S. В любом случае, спасибо за совет:)
А мне что писать-то? Как я понял, если я введу disallow /2014/ и если у меня в адресной строке будет цифра 2014, то эта страница не будет индексироваться или что?
Никто не знает что ли?
Ну, помогите, кто-нибудь! Пожалуйста! Я устал бороться с этими ссылками!!!
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
07:16 Absence в Армении 
20:52 Индексация страниц 
18:32 Gambling Craft - гемблинг по белому 
15:49 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:37 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
10:52 Teasermedia.net 
08:39 Нужна помощь советом! 
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:57 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
22:16 SOCKS5 приватные прокси на 30 дней для PayPal 
22:15 Google Voice аккаунты для бесплатных SMS и звонков 
22:15 PayPal аккаунты для любых целей 
20:42 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
19:07 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
23:00 Точные прогнозы на футбол 
13:41 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор