Как правильно составить Robots.txt на DLE

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 06:46

Это мой Robots.txt на DLE

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: мой сайт
Sitemap: мой сайт

Оживить старые Фото

bliking

Сообщений: 3680 Регистрация: Окт 2010

15 Ноября 2011 09:50

Код

Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Disallow: /page/
Disallow: /index.php
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /?do=register
Disallow: /index.php?do=feedback
Disallow: /?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

20 крутых ссылок по 25 рублей

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

15 Ноября 2011 12:45

у меня так
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /languages/
Disallow: /engine/download.php
Disallow: /go/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /*userinfo
Disallow: */rss.php
Disallow: /rss.xml
Disallow: /index.php?do=user
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=tags
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastnews
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /tags
Disallow: /page/
Disallow: */page/

Для того чтобы восторжествовало зло, нужно лишь одно — чтобы хорошие люди бездействовали.

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:13

Спасибо форумчане, щас поправлю!

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:15

bliking это что?

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

22 Ноября 2011 12:18

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Это наверно с архива .

irakli nanitashvil

Сообщений: 436 Регистрация: Ноя 2011

30 Ноября 2011 00:14

User-agent: *
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /engine/go.php
Disallow: /user/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Sitemap: http://my-cite.ru/sitemap.xml

Host: my-cite.ru

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:47

Disallow: /*do=lastcomments - закрывает все комментарии, и если не все комментарии, то что он вообще закрывает?
и что надо сделать чтобы закрыть коментарии?

Фото приколы

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:51

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Ольга

Сообщений: 15 Регистрация: Июн 2011

#10

1 Декабря 2011 21:22

А как правильно составить robots.txt , если сайт на Word Press ? Как правильно закрыть дублирующие страницы (страницы, категории...), чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#11

3 Декабря 2011 01:37

Цитата

Primitive пишет:

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Главное назначение запрета на индексацию этих разделов - уничтожение дублей на сайте

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#12

3 Декабря 2011 01:48

Мой robots.txt для DLE

User-agent:*
Disallow: /*print - закрываем от индексации версию новости для печати
Disallow: /user/ профили (защита от спама)
Disallow: /favorites/ фавориты
Disallow: /addnews.html добавление новости (необязательно)
Disallow: /go/
Disallow: /engine
Disallow: /page/ страницы 1,2,3...
Disallow: /tags/ поиск по тегам
Disallow: /2011/ архивы
Disallow: /2012/ архивы
Disallow: /lastnews/ последние новости (если сайт плохо индексируется и вы не все новости публикуете на главной - строчку убрать и поставить ссылку на раздел с главной страницы или лучше сквозную)
Disallow: /index.php?do
Crawl-delay: 10 (задержка в миллисек. для робота - разгружаем сервер во время индексации - убрать если на сайте страниц менее 1000)
Host: mysite.ru - основной адрес сайта
Sitemap: http://mysite.ru/sitemap.xml карта сайта

Еще раз повторюсь меньше дублей - лучше для ранжирования сайта.

dementiy

Сообщений: 129 Регистрация: Апр 2010

#13

3 Декабря 2011 09:13

ramzesesnews, твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

Изменено: dementiy - 3 Декабря 2011 09:31

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#14

3 Декабря 2011 12:37

Цитата
dementiy пишет: ramzesesnews , твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

О каких новых правилах идет разговор? Может я что-то пропустил?

balkan Сообщений: 2 Регистрация: Фев 2012	#15 8 Февраля 2012 14:28 Подскажите, пожалуйста. Карта сайта должна быть обязательно в xml ?У меня сайт на Джумла и карта сайта по адресу webstudio-solanj.ru/index.php/sitemap ( webstudio-solanj.ru/index.php/sitemap ) Что в этом случае ставится в строку Sitemap: ..... ??? И еще по запрету Disallow: /index.php В этом случае не закроются страницы типа webstudio-solanj.ru/index.php/client ( webstudio-solanj.ru/index.php/client ) ? (в адрес которых входит index.php ( webstudio-solanj.ru/index.php/client ) )

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
07:01 SEO под нейро 06:41 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 06:33 Индексирование страниц в Яндексе 00:11 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 23:34 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 23:32 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 23:26 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	06:48 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:54 GoodsMoney.io 23:51 Volna.money 20:20 Mixmasters - Exchange without AML and KYC 17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 16:49 Nexulume.com Обменник без AML и KYC 15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.	05:31 Точные прогнозы на футбол 23:37 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 23:30 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 23:21 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 19:06 Отвратительное поведение 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...