Вопрос о robots.txt в Dle
Страницы: 1
Вопрос о robots.txt в Dle, robots.txt в Dle
И вопрос, будет такого плана, а вот robots.txt с версии 9.0 может пойти на версию движка 9.7 ...?

Надеюсь есть форумчане, которые с этим движком работают, может кто с подобным сталкивался.
Изменено: SergeS - 27 Января 2013 20:44
Вот правильный robots.txt для dle 9.7. Индексируются только категории и новости.

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
SeoClub.su - раскрутка YouTube (есть API) и VK!
Постеры с новостей в данном роботсе как я понимаю индексируются?
Да индексируются.
Очень полезная статья по этому вопросу: _____http://alaev.info/blog/post/3900
Цитата
Игорь Бочаров пишет:
Disallow: /admin.php
В целях безопасности обычно этот файл переименовывается в "Hnm87^%$%Xk(m9.php"
и то же выставляется на показ в robots.txt?!
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 
15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 
13:26 Как безопасно купить Гугл почту? 
10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:01 E-currency.exchange — ваш помощник в мире обменов 
23:40 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:35 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:41 Веривикация Авито 
17:37 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
03:45 Гильотина для классиков: Клод доедает физические книги 
01:24 Точные прогнозы на футбол 
21:04 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
19:29 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 
19:24 Туалетные секреты: Замурчательная тема 
19:15 Сайты Рунета 
15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw