Robots.txt

Robots.txt, Нужно ли это в Robots.txt

Игорь Бочаров

Сообщений: 120 Регистрация: Июн 2012

#16

4 Ноября 2012 17:03

Я vebmaster24.ru]тут попробовал незнаю как повлияет:confused:

SeoClub.su - раскрутка YouTube (есть API) и VK!

Александр Семенов

Сообщений: 86 Регистрация: Янв 2011

#17

9 Ноября 2012 06:09

кто скажет это нормально или нет

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Юрий

Сообщений: 158 Регистрация: Апр 2010

#18

9 Ноября 2012 11:37

Цитата
aligon7 пишет: У меня в Robots.txt стоит вот такая фишка. Disallow: /page/ Disallow: /tags/

Надо так:

Disallow: /page/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: /tags/
Disallow: /tags/*/

Metaarv

Сообщений: 50 Регистрация: Окт 2012

#19

16 Ноября 2012 23:28

Александр Семенов, если не править двиг, Ваш robots.txt слегка подправить можно:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /tags/
Disallow: /user/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /*?*
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Sitemap: site.ru/sitemap.xml
Host: site.ru
Все, что в Google-панели лишнего вылезает можно плавно в роботс добавлять...
У Алаева эта тема действительно очень хорошо разжевана.

Макс $$$

Сообщений: 200 Регистрация: Июл 2011

#20

17 Ноября 2012 00:55

Цитата

Юрий пишет:

Цитата
aligon7 пишет: У меня в Robots.txt стоит вот такая фишка. Disallow: /page/ Disallow: /tags/

Надо так:
Disallow: /page/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: /tags/
Disallow: /tags/*/
Зачем же так много вариаций со звёздочками и page? Сейчас практикую с /page/* и */page/ - после чего у меня закрываются уже по немногу ссылки такого вида: сайт/квартиры/однокомнатные_квартиры_посуточно/

поэтому я считаю, лишние варианты особо и не нужны)

http://posutochno.donetsk.ua - мой первыый и лучший сайт!

Юрий

Сообщений: 158 Регистрация: Апр 2010

#21

17 Ноября 2012 15:26

Цитата
Макс $$$ пишет: поэтому я считаю, лишние варианты особо и не нужны

Лишние они не будут, некоторым роботам (особенно Гуглу) нужно конкретно указывать, что индексировать, а что нет.

Александр Семенов

Сообщений: 86 Регистрация: Янв 2011

#22

20 Ноября 2012 16:02

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: serials-tv.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: serials-tv.com/
Sitemap: serials-tv.com/sitemap.xml
User-agent: MediaPartners-Google
Allow: /
User-agent: YandexDirect
Allow: /

теперь так сделал

Дмитрий Телепнев

Сообщений: 13 Регистрация: Ноя 2012

#23

20 Ноября 2012 18:45

Вот что бы не мучатся с этим Robots почитайте статью alaev.info/blog/post/3900 - Правильный robots.txt для DLE – какой он?

Макс $$$

Сообщений: 200 Регистрация: Июл 2011

#24

20 Ноября 2012 20:05

я к примеру сделал так: Disallow: /index.php* и искренее верю, что вот так делать не прийдётся в роботсе:
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search

nilxxx

Сообщений: 36 Регистрация: Июн 2010

#25

20 Ноября 2012 23:35

Цитата
Макс $$$ пишет: я к примеру сделал так: Disallow: /index.php* и искренее верю, что вот так делать не прийдётся в роботсе: Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=stats Disallow: /index.php?do=search

Пошел дальше:
Disallow: /index*

После этого исчезли также страницы вида site/index/razdel/stranica.html
Остались site/razdel/stranica.html

Роман петров

Сообщений: 157 Регистрация: Ноя 2012

#26

20 Ноября 2012 23:40

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://sp-torrent.ru/sitemap.xml
Sitemap: http://sp-torrent.ru/sitemap-forum.xml
Sitemap: http://sp-torrent.ru/sitemap-shop.xml

у меня вот такой робот,нормальный? smile:confused:

ArtЁм Za жизнь Сообщений: 1369 Регистрация: Янв 2012	#27 24 Ноября 2012 22:22 А у тебя вообще то ucoz а не dle баня под ключ не дорого

Похожие темы:

27.01.2026 15:14	DLE не создает бэкап с админки сайта, как быть?
28.12.2024 00:49	Маркированный список выходит за пределы статьи
28.12.2024 00:44	Модуль DLE
11.12.2024 17:41	Цифровые часы - модуль DigitalWatch
16.10.2024 14:50	Плагин Telegram posting

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
11:45 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 09:13 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 09:04 Раскрутка форума 19:40 adsense в 2026: кто реально выводит копейку через киргизию? 14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	11:11 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:11 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:11 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:10 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 10:51 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 10:18 Swapwatch.org — Мониторинг криптовалютных обменников 09:18 PayPal аккаунты для любых целей	09:10 Огородники 05:10 Точные прогнозы на футбол 19:36 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода 10:11 О природе путешествий. 15:04 Сайты Рунета