Помагите создать правильный robots.txt для dle

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:46

Всем привет!
В общем проблема у меня в роботе в том самом что в заголовке
Дали вот такой :

Цитата

User-agent:User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /2011/
Disallow: /*print
Disallow: /page/
Disallow: /news/page/
Disallow: /news/regionalnews/page/
Disallow: /news/newstopic/page/
Disallow: /news/goodnews/page/
Disallow: /news/newstopic/crazyworld/page/
Disallow: /projects/page/
Disallow: /afisha/page/
Disallow: /raznoe/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /?do=*
Disallow: /?attachment_id=*
Disallow: /index.php?do=feedback
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=*
Disallow: /index.php?do=lastnews
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?action=*
Disallow: /index.php
Disallow: /index.php*
Disallow: /statistics.html
Disallow: /engine/images.php?area=
Disallow: /index.php?action=mobile
Disallow: /lastnews/
Disallow: /lastnews/page/
Host:
Sitemap:

И как я понимаю он не индексирует половину сайта или вообще 90% просто я смотрю дизалов стоит почти на все темы
Подскажите правильный ли это файл и если нет напишите пожалуйста как нужно сделать
Заранее благодарю

Изменено: Василий Иванов - 15 Января 2012 16:47

Уникальный контент выбирайте »тут« за недорого

Влад

Сообщений: 174 Регистрация: Янв 2012

15 Января 2012 16:51

кто подсунул??при установке дле идет стандартый,его и юзай

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Василий Иванов

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:54

Большое спасибо щас попробую поставить
Кто может чё ещё посоветует?

naribalky

Сообщений: 3196 Регистрация: Апр 2011

16 Января 2012 13:04

Тему перенес в соответствующий раздел.

Владимир

Сообщений: 57 Регистрация: Июл 2011

29 Января 2012 16:45

у меня вот такой:

User-agent: *
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2011/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/sitemap.xml

Изменено: Владимир - 29 Января 2012 16:47

ЗДЕСЬ платят за Просмотры видео, Регистрации, Продажи и т.д.

Траф берем здесь.

Вадим

Сообщений: 602 Регистрация: Дек 2011

29 Января 2012 17:06

У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

Продвижение ваших сайтов!

Sargis Sargsyan

Сообщений: 11 Регистрация: Ноя 2011

30 Января 2012 14:07

Вот такой у меня...

User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: poortal.ru

User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Цитата

Вадим пишет:
У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

у тебя вообще не для dle

07.04.2019 13:48	Как создать новостную ленту на DLE по примеру
09.11.2014 14:05	Как создать одноименную категорию?
12.10.2014 18:12	Хочу создать торрент сайт на дле)
17.04.2014 09:22	Не могу создать разделы на 10.2
15.10.2013 13:30	Как создать правило?

Новые темы	Объявления	Свободное общение
23:39 Rotapost прикрыли! Чем пользоваться? 23:17 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 14:20 SEO под нейро 10:35 Как Яндекс индексирует ваш сайт? \| АПдейт выдача 8.12.2025 11:11 Операторы поиска Яндекса: FAQ для тех, кто хочет стать мастером поиска 18:31 Хлебные крошки на сайте: сказка из Простоквашино про навигацию в интернете 10:58 Стоит ли добавлять сайт в Rambler топ 100?	22:48 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 20:54 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:34 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 14:04 Terminal.cash - надежный обмен криптовалюты 13:46 Quix Email - сервис почтовых активаций 13:35 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 13:17 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	23:48 Про мясо 23:48 Точные прогнозы на футбол 23:08 С юмором по жизни! 14:04 Компьютерная мышь 13:08 Бесплатный майнинг Tether (USDT) 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир...