robots.txt для DLE
Страницы: 1
[ Закрыто ] robots.txt для DLE, 500 WMR
Нужен специалист по DLE  с большим опытом работы. Необходима мелочь - роботс, но если в нем накосячить - АГС гарантирован. Кто возьмется?
felis_serval,

на блоге Алаичъа мануал по закрытию всех ненужных страниц есть, там роботс получаеться на 2 строчки smile:)


ICQ: 647366012 Skype: ftpzerocool</b>
ZerocooL,  ссылку
У меня такой и пока вроде норма все.[code]

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
[/code]
Ostrov SEO,  мы там нахимичили много, это уже не совсем дле smile:D
Цитата
felis_serval пишет:
Ostrov SEO, мы там нахимичили много, это уже не совсем дле smile:D
:confused:ну тогда я не знаю. Вы просили по DLE - я сказал, что делаю я и в индексе/выдачи только новости и больше не кого.
Не забывайте закрывать:

Disallow: /xfsearch/
и
Disallow: /newposts/ как вариант (в некоторых случаях наоборот не стоит закрывать)
Не подписываюсь на темы, так что не слежу за вопросами, которые вы оставляете в топике после меня. Если нужно получить ответ, пишите в ЛС с указанием ссылки на мой комментарий.
Цитата
felis_serval пишет:
ссылку
http://alaev.info/blog/post/3900
Цитата
Алик Яушев пишет:
Disallow: /newposts/ как вариант (в некоторых случаях наоборот не стоит закрывать)
В каких например?
ZerocooL,  спасибо, тему офф, не актуально
felis_serval,

рад был помочь smile;)
ZerocooL,  в моем роботс 4 строчки в итоге) Пасиб.

Так, прикол для всех, сравниваем:

http://yandex.ru/robots.txt
https://www.google.ru/robots.txt
Изменено: felis_serval - 21 Сентября 2012 21:16
З.Ы.
Гуглю получается неплохо бы делать как у него, носом натыкать что индексить а что нет, и в итоге он всё равно проиндексит всё подряд) Опять меня полюбит только Яндекс smile:(
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:31 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
20:16 APK на паузе. Google убивает быстрый конверт 
20:12 AI под надзором. Минцифры готовят клеймо для контента 
22:32 Gambling Craft - гемблинг по белому 
00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
17:48 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 
17:13 Анализ курсов и недежности обменников - Kurs.Expert 
15:29 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
14:20 Вериф аккаунты АВИТО + платежи 
14:17 Swapwatch.org — Мониторинг криптовалютных обменников 
08:01 HH.ru Работадателя вериф 
01:42 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
23:52 Сайты Рунета 
20:23 Панель Кнопки соцсетей 
20:09 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:09 Точные прогнозы на футбол 
17:47 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
17:40 молодильные яблоки и живая вода 
14:03 Огородники