Вопрос о robots.txt в Dle
Страницы: 1
Вопрос о robots.txt в Dle, robots.txt в Dle
И вопрос, будет такого плана, а вот robots.txt с версии 9.0 может пойти на версию движка 9.7 ...?

Надеюсь есть форумчане, которые с этим движком работают, может кто с подобным сталкивался.
Изменено: SergeS - 27 Января 2013 20:44
Вот правильный robots.txt для dle 9.7. Индексируются только категории и новости.

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
SeoClub.su - раскрутка YouTube (есть API) и VK!
Постеры с новостей в данном роботсе как я понимаю индексируются?
Да индексируются.
Очень полезная статья по этому вопросу: _____http://alaev.info/blog/post/3900
Цитата
Игорь Бочаров пишет:
Disallow: /admin.php
В целях безопасности обычно этот файл переименовывается в "Hnm87^%$%Xk(m9.php"
и то же выставляется на показ в robots.txt?!
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:12 Покупные ссылки 
12:57 Rotapost прикрыли! Чем пользоваться? 
17:00 Стоит ли добавлять сайт в Rambler топ 100? 
15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 
15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
12:05 DLE не создает бэкап с админки сайта, как быть? 
23:42 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
22:55 Quix Email - сервис почтовых активаций 
22:23 SOCKS5 приватные прокси на 30 дней для PayPal 
22:22 Google Voice аккаунты для бесплатных SMS и звонков 
22:22 PayPal аккаунты для любых целей 
15:21 Продажа сайтов по электронике 
13:57 Сервис смс активаций и аренды мобильных номеров ALISMS 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb 
16:50 Компьютерная мышь 
22:11 С юмором по жизни! 
23:03 Точные прогнозы на футбол