Robots
Страницы: 1
Robots
Здравствуйте! Подскажите как правильно должен выглядеть роботс для DLE, что бы ничего лишнего поисковики не хавали?
Правильный robots.txt для DLE.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

Host: www.ваш сайт.ru

Используя Disallow: можете закрыть любую страницу или папку от индексации.



Или



User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Изменено: Василий Иванов - 4 Ноября 2011 14:11
Уникальный контент выбирайте »тут« за недорого
А теги тоже закрыть надо?
А то у меня странный роботс какой то...

User-agent: *
Disallow: /*print
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /page/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts
Disallow: /catalog/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Disallow: /?do=tags
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=rules
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?action=mobile
Disallow: /index.php?action=mobiledisable

Может я много лишнего сделал?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
14:50 Какую выбрать тему/нишу для сайта? 
04:02 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
19:22 Продажа аккаунтов HH.RU 
15:28 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
22:49 Обменник криптовалюты OnlyCrypto 
20:21 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:49 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
16:02 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир...