Вопрос о robots.txt в Dle
Страницы: 1
Вопрос о robots.txt в Dle, robots.txt в Dle
И вопрос, будет такого плана, а вот robots.txt с версии 9.0 может пойти на версию движка 9.7 ...?

Надеюсь есть форумчане, которые с этим движком работают, может кто с подобным сталкивался.
Изменено: SergeS - 27 Января 2013 20:44
Вот правильный robots.txt для dle 9.7. Индексируются только категории и новости.

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
SeoClub.su - раскрутка YouTube (есть API) и VK!
Постеры с новостей в данном роботсе как я понимаю индексируются?
Да индексируются.
Очень полезная статья по этому вопросу: _____http://alaev.info/blog/post/3900
Цитата
Игорь Бочаров пишет:
Disallow: /admin.php
В целях безопасности обычно этот файл переименовывается в "Hnm87^%$%Xk(m9.php"
и то же выставляется на показ в robots.txt?!
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:17 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
19:40 adsense в 2026: кто реально выводит копейку через киргизию? 
14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 
12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
23:05 Раскрутка форума 
17:18 SOCKS5 приватные прокси на 30 дней для PayPal 
17:16 Google Voice аккаунты для бесплатных SMS и звонков 
17:16 PayPal аккаунты для любых целей 
15:11 HH.ru Работадателя вериф 
14:49 4G/LTE Mobile Proxy 30+ geo  
14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса 
13:32 Мониторинг обменников Сrypto-scout.io 
23:48 Точные прогнозы на футбол 
22:38 Огородники 
19:36 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
16:47 Какой фильм вы любите посмотреть перед сном? 
15:46 молодильные яблоки и живая вода 
10:11 О природе путешествий. 
15:04 Сайты Рунета