robots.txt для DLE
Страницы: 1
[ Закрыто ] robots.txt для DLE, 500 WMR
Нужен специалист по DLE  с большим опытом работы. Необходима мелочь - роботс, но если в нем накосячить - АГС гарантирован. Кто возьмется?
felis_serval,

на блоге Алаичъа мануал по закрытию всех ненужных страниц есть, там роботс получаеться на 2 строчки smile:)


ICQ: 647366012 Skype: ftpzerocool</b>
ZerocooL,  ссылку
У меня такой и пока вроде норма все.[code]

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
[/code]
Ostrov SEO,  мы там нахимичили много, это уже не совсем дле smile:D
Цитата
felis_serval пишет:
Ostrov SEO, мы там нахимичили много, это уже не совсем дле smile:D
:confused:ну тогда я не знаю. Вы просили по DLE - я сказал, что делаю я и в индексе/выдачи только новости и больше не кого.
Не забывайте закрывать:

Disallow: /xfsearch/
и
Disallow: /newposts/ как вариант (в некоторых случаях наоборот не стоит закрывать)
Не подписываюсь на темы, так что не слежу за вопросами, которые вы оставляете в топике после меня. Если нужно получить ответ, пишите в ЛС с указанием ссылки на мой комментарий.
Цитата
felis_serval пишет:
ссылку
http://alaev.info/blog/post/3900
Цитата
Алик Яушев пишет:
Disallow: /newposts/ как вариант (в некоторых случаях наоборот не стоит закрывать)
В каких например?
ZerocooL,  спасибо, тему офф, не актуально
felis_serval,

рад был помочь smile;)
ZerocooL,  в моем роботс 4 строчки в итоге) Пасиб.

Так, прикол для всех, сравниваем:

http://yandex.ru/robots.txt
https://www.google.ru/robots.txt
Изменено: felis_serval - 21 Сентября 2012 21:16
З.Ы.
Гуглю получается неплохо бы делать как у него, носом натыкать что индексить а что нет, и в итоге он всё равно проиндексит всё подряд) Опять меня полюбит только Яндекс smile:(
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
19:54 SOCKS5 приватные прокси на 30 дней для PayPal 
19:53 Google Voice аккаунты для бесплатных SMS и звонков 
19:53 PayPal аккаунты для любых целей 
17:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
17:53 Trustpilot Reviews | Подниму рейтинг вашей компании 
17:52 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
17:52 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?