Robots
Страницы: 1
Robots
Здравствуйте! Подскажите как правильно должен выглядеть роботс для DLE, что бы ничего лишнего поисковики не хавали?
Правильный robots.txt для DLE.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

Host: www.ваш сайт.ru

Используя Disallow: можете закрыть любую страницу или папку от индексации.



Или



User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Изменено: Василий Иванов - 4 Ноября 2011 14:11
Уникальный контент выбирайте »тут« за недорого
А теги тоже закрыть надо?
А то у меня странный роботс какой то...

User-agent: *
Disallow: /*print
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /page/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts
Disallow: /catalog/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Disallow: /?do=tags
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=rules
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?action=mobile
Disallow: /index.php?action=mobiledisable

Может я много лишнего сделал?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:03 Как Яндекс индексирует ваш сайт? | АПдейт выдача 5.12.2025 
18:36 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 
18:31 Хлебные крошки на сайте: сказка из Простоквашино про навигацию в интернете 
18:29 Операторы поиска Яндекса: FAQ для тех, кто хочет стать мастером поиска 
18:26 Rotapost прикрыли! Чем пользоваться? 
10:58 Стоит ли добавлять сайт в Rambler топ 100? 
15:59 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:58 Mixmasters - Exchange without AML and KYC 
17:38 Quix Email - сервис почтовых активаций 
16:41 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:41 SnapSwap.io — мгновенный обмен BTC, XMR, ETH, USDT и других криптовалют без регистрации! 
11:07 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
23:54 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
02:19 Точные прогнозы на футбол 
19:46 Про мясо 
18:11 С юмором по жизни! 
14:04 Компьютерная мышь 
13:08 Бесплатный майнинг Tether (USDT) 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир...