Помагите создать правильный robots.txt для dle

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:46

Всем привет!
В общем проблема у меня в роботе в том самом что в заголовке
Дали вот такой :

Цитата

User-agent:User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /2011/
Disallow: /*print
Disallow: /page/
Disallow: /news/page/
Disallow: /news/regionalnews/page/
Disallow: /news/newstopic/page/
Disallow: /news/goodnews/page/
Disallow: /news/newstopic/crazyworld/page/
Disallow: /projects/page/
Disallow: /afisha/page/
Disallow: /raznoe/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /?do=*
Disallow: /?attachment_id=*
Disallow: /index.php?do=feedback
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=*
Disallow: /index.php?do=lastnews
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /index.php?action=*
Disallow: /index.php
Disallow: /index.php*
Disallow: /statistics.html
Disallow: /engine/images.php?area=
Disallow: /index.php?action=mobile
Disallow: /lastnews/
Disallow: /lastnews/page/
Host:
Sitemap:

И как я понимаю он не индексирует половину сайта или вообще 90% просто я смотрю дизалов стоит почти на все темы
Подскажите правильный ли это файл и если нет напишите пожалуйста как нужно сделать
Заранее благодарю

Изменено: Василий Иванов - 15 Января 2012 16:47

Уникальный контент выбирайте »тут« за недорого

Влад

Сообщений: 174 Регистрация: Янв 2012

15 Января 2012 16:51

кто подсунул??при установке дле идет стандартый,его и юзай

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Василий Иванов

Сообщений: 1526 Регистрация: Мар 2011

15 Января 2012 16:54

Большое спасибо щас попробую поставить
Кто может чё ещё посоветует?

naribalky

Сообщений: 3196 Регистрация: Апр 2011

16 Января 2012 13:04

Тему перенес в соответствующий раздел.

Владимир

Сообщений: 57 Регистрация: Июл 2011

29 Января 2012 16:45

у меня вот такой:

User-agent: *
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2011/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/sitemap.xml

Изменено: Владимир - 29 Января 2012 16:47

ЗДЕСЬ платят за Просмотры видео, Регистрации, Продажи и т.д.

Траф берем здесь.

Вадим

Сообщений: 602 Регистрация: Дек 2011

29 Января 2012 17:06

У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

Продвижение ваших сайтов!

Sargis Sargsyan

Сообщений: 11 Регистрация: Ноя 2011

30 Января 2012 14:07

Вот такой у меня...

User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: poortal.ru

User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Цитата

Вадим пишет:
У меня вот такой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Тоже сомневаюсь в его правильности... smile:confused:

у тебя вообще не для dle

07.04.2019 13:48	Как создать новостную ленту на DLE по примеру
09.11.2014 14:05	Как создать одноименную категорию?
12.10.2014 18:12	Хочу создать торрент сайт на дле)
17.04.2014 09:22	Не могу создать разделы на 10.2
15.10.2013 13:30	Как создать правило?

Новые темы	Объявления	Свободное общение
17:26 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:56 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 15:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:59 2Index - быстрая индексация страниц сайта и обратных ссылок 10:13 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 23:00 Продвижение по ключам 05:56 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд	12:57 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 18:51 SOCKS5 приватные прокси на 30 дней для PayPal 18:50 Google Voice аккаунты для бесплатных SMS и звонков 18:50 PayPal аккаунты для любых целей 18:16 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 10:52 BestChange – обменивать электронную валюту можно быстро и выгодно	23:09 ПП от PMS remote.team - 200$ за команду 11:38 Про мясо 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники? 22:26 Какой фильм посмотреть сегодня вечером? 17:13 Добро пожаловать в цифровой мир...