Как правильно составить Robots.txt на DLE

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 06:46

Это мой Robots.txt на DLE

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: мой сайт
Sitemap: мой сайт

Оживить старые Фото

bliking

Сообщений: 3680 Регистрация: Окт 2010

15 Ноября 2011 09:50

Код

Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Disallow: /page/
Disallow: /index.php
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /?do=register
Disallow: /index.php?do=feedback
Disallow: /?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

20 крутых ссылок по 25 рублей

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

15 Ноября 2011 12:45

у меня так
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /languages/
Disallow: /engine/download.php
Disallow: /go/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /*userinfo
Disallow: */rss.php
Disallow: /rss.xml
Disallow: /index.php?do=user
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=tags
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastnews
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /tags
Disallow: /page/
Disallow: */page/

Для того чтобы восторжествовало зло, нужно лишь одно — чтобы хорошие люди бездействовали.

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:13

Спасибо форумчане, щас поправлю!

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:15

bliking это что?

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

22 Ноября 2011 12:18

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Это наверно с архива .

irakli nanitashvil

Сообщений: 436 Регистрация: Ноя 2011

30 Ноября 2011 00:14

User-agent: *
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /engine/go.php
Disallow: /user/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Sitemap: http://my-cite.ru/sitemap.xml

Host: my-cite.ru

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:47

Disallow: /*do=lastcomments - закрывает все комментарии, и если не все комментарии, то что он вообще закрывает?
и что надо сделать чтобы закрыть коментарии?

Фото приколы

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:51

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Ольга

Сообщений: 15 Регистрация: Июн 2011

#10

1 Декабря 2011 21:22

А как правильно составить robots.txt , если сайт на Word Press ? Как правильно закрыть дублирующие страницы (страницы, категории...), чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#11

3 Декабря 2011 01:37

Цитата

Primitive пишет:

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Главное назначение запрета на индексацию этих разделов - уничтожение дублей на сайте

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#12

3 Декабря 2011 01:48

Мой robots.txt для DLE

User-agent:*
Disallow: /*print - закрываем от индексации версию новости для печати
Disallow: /user/ профили (защита от спама)
Disallow: /favorites/ фавориты
Disallow: /addnews.html добавление новости (необязательно)
Disallow: /go/
Disallow: /engine
Disallow: /page/ страницы 1,2,3...
Disallow: /tags/ поиск по тегам
Disallow: /2011/ архивы
Disallow: /2012/ архивы
Disallow: /lastnews/ последние новости (если сайт плохо индексируется и вы не все новости публикуете на главной - строчку убрать и поставить ссылку на раздел с главной страницы или лучше сквозную)
Disallow: /index.php?do
Crawl-delay: 10 (задержка в миллисек. для робота - разгружаем сервер во время индексации - убрать если на сайте страниц менее 1000)
Host: mysite.ru - основной адрес сайта
Sitemap: http://mysite.ru/sitemap.xml карта сайта

Еще раз повторюсь меньше дублей - лучше для ранжирования сайта.

dementiy

Сообщений: 129 Регистрация: Апр 2010

#13

3 Декабря 2011 09:13

ramzesesnews, твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

Изменено: dementiy - 3 Декабря 2011 09:31

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#14

3 Декабря 2011 12:37

Цитата
dementiy пишет: ramzesesnews , твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

О каких новых правилах идет разговор? Может я что-то пропустил?

balkan Сообщений: 2 Регистрация: Фев 2012	#15 8 Февраля 2012 14:28 Подскажите, пожалуйста. Карта сайта должна быть обязательно в xml ?У меня сайт на Джумла и карта сайта по адресу webstudio-solanj.ru/index.php/sitemap ( webstudio-solanj.ru/index.php/sitemap ) Что в этом случае ставится в строку Sitemap: ..... ??? И еще по запрету Disallow: /index.php В этом случае не закроются страницы типа webstudio-solanj.ru/index.php/client ( webstudio-solanj.ru/index.php/client ) ? (в адрес которых входит index.php ( webstudio-solanj.ru/index.php/client ) )

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
15:35 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 14:07 AI под надзором. Минцифры готовят клеймо для контента 00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 23:11 APK на паузе. Google убивает быстрый конверт 16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:09 А+ в MAX: Квитанция на получение денег	16:32 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 15:49 Европейский эквайринг 13:23 Trustpilot Reviews \| Подниму рейтинг вашей компании 13:22 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 13:22 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 13:21 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 10:25 Мониторинг обменников Сrypto-scout.io	17:59 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:28 С юмором по жизни! 17:27 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 17:26 Панель Кнопки соцсетей 17:16 молодильные яблоки и живая вода 06:03 Точные прогнозы на футбол 15:29 Компьютерная мышь