Правильный robots.txt для DLE - какой он?
Страницы: Пред. 1 2
Правильный robots.txt для DLE - какой он?
Прямой и исчерпывающий ответ на Ваш вопрос: _http://alaev.info/blog/post/3900
Изменено: Антип Замкадов - 25 Сентября 2014 21:49
Вот мне тут подсказали, что можно закрыть эти ссылки в robots так disallow /год/. А ещё есть такой вариант - прописать в htaccess
Код
 REWRITERULE ^1990(.*)$ http://site.ru [L,R=301]
и таким же образом сделать для всех годов. Так вот, если я пропишу в htaccess все года, у меня сайт будет нормально индексироваться? Просто, для дублей прописывается что-то подобное. Вот закрываю я до 2014 года и получается, что все, что я добавил в 2014 году пропадет из выдачи? Или как? Какой способ лучше посоветуете сделать? В htaccess прописать или в robots?
Цитата
Школьник пишет:
Я сделал как Алайч написал, то есть в конфиге там прописал что он сказал, но так как я жуткий параноик я ещё и роботс сделал, такой получился:
Я не закрывал его:
Код
Disallow: /tags/
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф,  да и смысла не вижу тэги закрывать они  не мешают.   Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Цитата
вито пишет:
у меня несколько тегов в яндексе в топ 5, сидят и приносят так-же траф, да и смысла не вижу тэги закрывать они не мешают.
У меня сайт финансовой тематики, кредиты, банки, бизнес, деньги, экономика и т. п. когда делал его старался делать всё максимально приближено к идеальности, не каких дублей, не каких тегов, не чего того что я не контролирую:)
Цитата
vito пишет:
Так что прежде чем закрывать надо подумать точно ли они вам не нужны.
Сейчас блог делаю, вот тут думаю теги не закрывать:)

P.S. Я всегда стараюсь думать и прежде чем что то делать изучаю блоги, форумы, мнения и т. п.
P.P.S. В любом случае, спасибо за совет:)
А мне что писать-то? Как я понял, если я введу disallow /2014/ и если у меня в адресной строке будет цифра 2014, то эта страница не будет индексироваться или что?
Никто не знает что ли?
Ну, помогите, кто-нибудь! Пожалуйста! Я устал бороться с этими ссылками!!!
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:35 Хватит ныть про смерть сайтов и нейроответы - почему мы всё еще в деле 
17:09 Раскрутка форума 
17:07 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
17:02 С чего сейчас проще начать? 
16:58 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 
16:54 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
16:35 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
18:55 Mixmasters - Exchange without AML and KYC 
17:58 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса 
16:22 E-currency.exchange — ваш помощник в мире обменов 
16:02 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:37 Вериф аккаунты АВИТО + платежи 
11:27 Прокси IPv6 Россия 
10:07 продам один НН Аккаунт . МОЙ ЛИЧНЫЙ аккаунт на HeadHunter 
18:04 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
17:59 молодильные яблоки и живая вода 
17:31 Список обновленных тем пуст... 
16:55 Добро пожаловать в цифровой мир... 
11:41 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа 
11:22 А вы бегаете? 
20:56 Точные прогнозы на футбол