Robots

Правильный robots.txt для DLE.

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

User-agent: Yandex

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Sitemap: http://www.ваш сайт.ru/sitemap.xml

Host: www.ваш сайт.ru

Используя Disallow: можете закрыть любую страницу или папку от индексации.

Или

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

А теги тоже закрыть надо?
А то у меня странный роботс какой то...

User-agent: *
Disallow: /*print
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /page/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts
Disallow: /catalog/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Disallow: /?do=tags
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=rules
Disallow: /index.php?do=feedback
Disallow: /index.php?do=register
Disallow: /index.php?do=lostpassword
Disallow: /index.php?action=mobile
Disallow: /index.php?action=mobiledisable

Может я много лишнего сделал?

Новые темы	Объявления	Свободное общение
12:58 9 стран вводят интернет по паспорту: Бурж-сегмент уходит в KYC 12:56 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 12:51 Смерть SEO или новый профит? Google в тупике, Лиз Рид призналась в бессилии 10:12 Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума 08:45 Карпати реально заставил GPT, Кло, Gemini и Grok спорить между собой перед ответом 08:26 Праздники кончились, а трафик так и не вернулся. Глюк или фильтр? 06:37 SEO под нейро	12:46 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 12:19 Мониторинг обменников Сrypto-scout.io 10:30 Monitex: Мониторинг с кэшбэком 80% в USDT 10:16 Bardo — Бюро развития и координации цифровых операций. 05:49 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 19:19 [MOBILE 4G/LTE PROXY] Приватные Мобильные Прокси 30 Дней 10$ Безлим/ Подходят для всех сайтов 00:07 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника	12:57 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 12:54 Огородники 11:29 Список обновленных тем пуст... 10:20 Тройной агент Паша Дуров 09:19 Оцифровка старых физических фотографий 09:13 О природе путешествий. 09:00 Помогите, пожалуйста...

Новые темы

Объявления

Свободное общение

12:58 9 стран вводят интернет по паспорту: Бурж-сегмент уходит в KYC
12:56 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
12:51 Смерть SEO или новый профит? Google в тупике, Лиз Рид призналась в бессилии
10:12 Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума
08:45 Карпати реально заставил GPT, Кло, Gemini и Grok спорить между собой перед ответом
08:26 Праздники кончились, а трафик так и не вернулся. Глюк или фильтр?
06:37 SEO под нейро

12:46 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram
12:19 Мониторинг обменников Сrypto-scout.io
10:30 Monitex: Мониторинг с кэшбэком 80% в USDT
10:16 Bardo — Бюро развития и координации цифровых операций.
05:49 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
19:19 [MOBILE 4G/LTE PROXY] Приватные Мобильные Прокси 30 Дней 10$ Безлим/ Подходят для всех сайтов
00:07 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника

12:57 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
12:54 Огородники
11:29 Список обновленных тем пуст...
10:20 Тройной агент Паша Дуров
09:19 Оцифровка старых физических фотографий
09:13 О природе путешествий.
09:00 Помогите, пожалуйста...

27.01.2026 15:14	DLE не создает бэкап с админки сайта, как быть?
28.12.2024 00:49	Маркированный список выходит за пределы статьи
28.12.2024 00:44	Модуль DLE
11.12.2024 17:41	Цифровые часы - модуль DigitalWatch
16.10.2024 14:50	Плагин Telegram posting

Иван Тушин Сообщений: 25 Регистрация: Июл 2011	#3 4 Ноября 2011 19:50 А теги тоже закрыть надо? А то у меня странный роботс какой то... User-agent: * Disallow: /*print Disallow: /2009/ Disallow: /2010/ Disallow: /2011/ Disallow: /2012/ Disallow: /tags/ Disallow: /page/ Disallow: /user/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /newposts Disallow: /catalog/ Disallow: /statistics.html Disallow: /rules.html Disallow: /addnews.html Disallow: /?do=tags Disallow: /index.php?do=stats Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=addnews Disallow: /index.php?do=rules Disallow: /index.php?do=feedback Disallow: /index.php?do=register Disallow: /index.php?do=lostpassword Disallow: /index.php?action=mobile Disallow: /index.php?action=mobiledisable Может я много лишнего сделал?