Помагите создать правильный robots.txt для dle

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:46

Всем привет!
В общем проблема у меня в роботе в том самом что в заголовке
Дали вот такой :

Цитата

User-agent:User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /2011/
Disallow: /*print
Disallow: /page/
Disallow: /news/page/
Disallow: /news/regionalnews/page/
Disallow: /news/newstopic/page/
Disallow: /news/goodnews/page/
Disallow: /news/newstopic/crazyworld/page/
Disallow: /projects/page/
Disallow: /afisha/page/
Disallow: /raznoe/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /?do=*
Disallow: /?attachment_id=*
Disallow: /index.php?do=feedback
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=*
Disallow: /index.php?do=lastnews
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?action=*
Disallow: /index.php
Disallow: /index.php*
Disallow: /statistics.html
Disallow: /engine/images.php?area=
Disallow: /index.php?action=mobile
Disallow: /lastnews/
Disallow: /lastnews/page/
Host:
Sitemap:

И как я понимаю он не индексирует половину сайта или вообще 90% просто я смотрю дизалов стоит почти на все темы
Подскажите правильный ли это файл и если нет напишите пожалуйста как нужно сделать
Заранее благодарю

Изменено: Василий Иванов - 15 Января 2012 16:47

Уникальный контент выбирайте »тут« за недорого

Влад

Сообщений: 174 Регистрация: Янв 2012

15 Января 2012 16:51

кто подсунул??при установке дле идет стандартый,его и юзай

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Василий Иванов

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:54

Большое спасибо щас попробую поставить
Кто может чё ещё посоветует?

naribalky

Сообщений: 3196 Регистрация: Апр 2011

16 Января 2012 13:04

Тему перенес в соответствующий раздел.

Владимир

Сообщений: 57 Регистрация: Июл 2011

29 Января 2012 16:45

у меня вот такой:

User-agent: *
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2011/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/sitemap.xml

Изменено: Владимир - 29 Января 2012 16:47

ЗДЕСЬ платят за Просмотры видео, Регистрации, Продажи и т.д.

Траф берем здесь.

Вадим

Сообщений: 602 Регистрация: Дек 2011

29 Января 2012 17:06

У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

Продвижение ваших сайтов!

Sargis Sargsyan

Сообщений: 11 Регистрация: Ноя 2011

30 Января 2012 14:07

Вот такой у меня...

User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: poortal.ru

User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Цитата

Вадим пишет:
У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

у тебя вообще не для dle

07.04.2019 13:48	Как создать новостную ленту на DLE по примеру
09.11.2014 14:05	Как создать одноименную категорию?
12.10.2014 18:12	Хочу создать торрент сайт на дле)
17.04.2014 09:22	Не могу создать разделы на 10.2
15.10.2013 13:30	Как создать правило?

Новые темы	Объявления	Свободное общение
07:32 AI под надзором. Минцифры готовят клеймо для контента 23:53 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 22:21 Слипание слов в блоке 22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 22:05 С чего сейчас проще начать? 21:57 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?	00:05 TETChange-Обменник криптовалют 22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 22:17 Продам домен translated.ru 21:00 Portfel.cc - современный помощник в Ваших финансовых операциях. 19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB \| Мобильные-$2/GB \| Datacenter-$1/GB \| PREMIUM-$4 /GB 15:05 Mixmasters - Exchange without AML and KYC 13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок.	23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники 13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:02 С юмором по жизни! 05:10 Точные прогнозы на футбол 16:47 Какой фильм вы любите посмотреть перед сном?