Как правильно составить Robots.txt на DLE

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 06:46

Это мой Robots.txt на DLE

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: мой сайт
Sitemap: мой сайт

Оживить старые Фото

bliking

Сообщений: 3680 Регистрация: Окт 2010

15 Ноября 2011 09:50

Код

Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Disallow: /page/
Disallow: /index.php
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /?do=register
Disallow: /index.php?do=feedback
Disallow: /?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

20 крутых ссылок по 25 рублей

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

15 Ноября 2011 12:45

у меня так
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /languages/
Disallow: /engine/download.php
Disallow: /go/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /*userinfo
Disallow: */rss.php
Disallow: /rss.xml
Disallow: /index.php?do=user
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=tags
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastnews
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /tags
Disallow: /page/
Disallow: */page/

Для того чтобы восторжествовало зло, нужно лишь одно — чтобы хорошие люди бездействовали.

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:13

Спасибо форумчане, щас поправлю!

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

15 Ноября 2011 13:15

bliking это что?

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/

vanyahjt

Сообщений: 482 Регистрация: Авг 2010

22 Ноября 2011 12:18

Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Это наверно с архива .

irakli nanitashvil

Сообщений: 429 Регистрация: Ноя 2011

30 Ноября 2011 00:14

User-agent: *
Disallow: /admin.php
Disallow: /index.php?do=register
Disallow: /engine/go.php
Disallow: /user/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Sitemap: http://my-cite.ru/sitemap.xml

Host: my-cite.ru

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:47

Disallow: /*do=lastcomments - закрывает все комментарии, и если не все комментарии, то что он вообще закрывает?
и что надо сделать чтобы закрыть коментарии?

Фото приколы

Primitive

Сообщений: 57 Регистрация: Май 2011

1 Декабря 2011 12:51

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Ольга

Сообщений: 15 Регистрация: Июн 2011

#10

1 Декабря 2011 21:22

А как правильно составить robots.txt , если сайт на Word Press ? Как правильно закрыть дублирующие страницы (страницы, категории...), чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#11

3 Декабря 2011 01:37

Цитата

Primitive пишет:

Цитата
Франческо Фиери пишет: bliking это что? Disallow: /2012/ Disallow: /2011/ Disallow: /2010/

закрывает страницы типа http://сайт/2011/11/18/ - Материалы за 18.11.2011

Главное назначение запрета на индексацию этих разделов - уничтожение дублей на сайте

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#12

3 Декабря 2011 01:48

Мой robots.txt для DLE

User-agent:*
Disallow: /*print - закрываем от индексации версию новости для печати
Disallow: /user/ профили (защита от спама)
Disallow: /favorites/ фавориты
Disallow: /addnews.html добавление новости (необязательно)
Disallow: /go/
Disallow: /engine
Disallow: /page/ страницы 1,2,3...
Disallow: /tags/ поиск по тегам
Disallow: /2011/ архивы
Disallow: /2012/ архивы
Disallow: /lastnews/ последние новости (если сайт плохо индексируется и вы не все новости публикуете на главной - строчку убрать и поставить ссылку на раздел с главной страницы или лучше сквозную)
Disallow: /index.php?do
Crawl-delay: 10 (задержка в миллисек. для робота - разгружаем сервер во время индексации - убрать если на сайте страниц менее 1000)
Host: mysite.ru - основной адрес сайта
Sitemap: http://mysite.ru/sitemap.xml карта сайта

Еще раз повторюсь меньше дублей - лучше для ранжирования сайта.

dementiy

Сообщений: 129 Регистрация: Апр 2010

#13

3 Декабря 2011 09:13

ramzesesnews, твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

Изменено: dementiy - 3 Декабря 2011 09:31

ramzesesnews

Сообщений: 25 Регистрация: Мар 2010

#14

3 Декабря 2011 12:37

Цитата
dementiy пишет: ramzesesnews , твой robots.txt согласован с новыми правилами Яши? Именно Использование директив Disallow и Allow

О каких новых правилах идет разговор? Может я что-то пропустил?

balkan Сообщений: 2 Регистрация: Фев 2012	#15 8 Февраля 2012 14:28 Подскажите, пожалуйста. Карта сайта должна быть обязательно в xml ?У меня сайт на Джумла и карта сайта по адресу webstudio-solanj.ru/index.php/sitemap ( webstudio-solanj.ru/index.php/sitemap ) Что в этом случае ставится в строку Sitemap: ..... ??? И еще по запрету Disallow: /index.php В этом случае не закроются страницы типа webstudio-solanj.ru/index.php/client ( webstudio-solanj.ru/index.php/client ) ? (в адрес которых входит index.php ( webstudio-solanj.ru/index.php/client ) )

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	15:40 TokenTrade — Ваш новый надежный обменник 15:15 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:22 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:07 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 10:54 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?