Вопрос о robots.txt в Dle
Страницы: 1
Вопрос о robots.txt в Dle, robots.txt в Dle
И вопрос, будет такого плана, а вот robots.txt с версии 9.0 может пойти на версию движка 9.7 ...?

Надеюсь есть форумчане, которые с этим движком работают, может кто с подобным сталкивался.
Изменено: SergeS - 27 Января 2013 20:44
Вот правильный robots.txt для dle 9.7. Индексируются только категории и новости.

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
SeoClub.su - раскрутка YouTube (есть API) и VK!
Постеры с новостей в данном роботсе как я понимаю индексируются?
Да индексируются.
Очень полезная статья по этому вопросу: _____http://alaev.info/blog/post/3900
Цитата
Игорь Бочаров пишет:
Disallow: /admin.php
В целях безопасности обычно этот файл переименовывается в "Hnm87^%$%Xk(m9.php"
и то же выставляется на показ в robots.txt?!
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
19:06 Стоит ли добавлять сайт в Rambler топ 100? 
17:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 
13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
11:41 2Index - быстрая индексация страниц сайта и обратных ссылок 
09:56 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
18:00 TokenTrade — Ваш новый надежный обменник 
12:59 Бустмаркет 
12:57 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
12:51 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
12:50 Trustpilot Reviews | Подниму рейтинг вашей компании 
12:50 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
12:50 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники? 
22:26 Какой фильм посмотреть сегодня вечером?