Вопрос о robots.txt в Dle
Страницы: 1
Вопрос о robots.txt в Dle, robots.txt в Dle
И вопрос, будет такого плана, а вот robots.txt с версии 9.0 может пойти на версию движка 9.7 ...?

Надеюсь есть форумчане, которые с этим движком работают, может кто с подобным сталкивался.
Изменено: SergeS - 27 Января 2013 20:44
Вот правильный robots.txt для dle 9.7. Индексируются только категории и новости.

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
SeoClub.su - раскрутка YouTube (есть API) и VK!
Постеры с новостей в данном роботсе как я понимаю индексируются?
Да индексируются.
Очень полезная статья по этому вопросу: _____http://alaev.info/blog/post/3900
Цитата
Игорь Бочаров пишет:
Disallow: /admin.php
В целях безопасности обычно этот файл переименовывается в "Hnm87^%$%Xk(m9.php"
и то же выставляется на показ в robots.txt?!
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:03 Нужна помощь советом! 
20:01 Работаем в P2P платежах BYBIT | USDT - RUB , RUB - USDT | Ищем постоянных клиентов , выгодные условия. 
19:04 Gambling Craft - гемблинг по белому 
10:44 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
19:41 25$ (ежемесячно) AdSense 
21:39 Подскажите где продвигать сайт. 
11:51 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
11:21 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
09:22 Продам Домены .COM с историей трафика. 
09:15 Услуги парсинга, заказать парсинг сайта и магазинов 
08:22 MintChange — Быстрый и надёжный обмен криптовалюты 
23:28 Платежное решение! 
20:55 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:51 Точные прогнозы на футбол 
23:47 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
11:58 Куплю проигрышные букмекерские аккаунты 
00:12 Огородники 
10:59 Новости искусственного интеллекта 
04:26 Хром ругается на форум