Robots.txt
Страницы: 1 2 След.
Robots.txt, Нужно ли это в Robots.txt
У меня в Robots.txt стоит вот такая фишка.
Disallow: /page/
Disallow: /tags/

Интересует мнения, Нужно это в Robots.txt или это негативно влияет на сайт
всё таки теги и страницы закрыты от индексации
Муравейник вообще изумительная штука: казалось бы, куча мусора, но какая посещаемость!
Наоборот положительно влияет. Так уменьшается количество дублей в индексе.
я на своем сайте (вордпресс) наоборот открыл категории. Но тут случай единичный, просто входящие ссылки идут как раз на категории.
я нармальный, не маньяк, чесна.
пытаюсь поднять сайт о гороскопах csrtife.ru
Спасибо, вот мой робот.

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml
Host: sezontv.ru


Я сделал робот , отдельно для яши. Проверил в яндекс веб мастер, всё работает.
Как вы ВСЕ относитесь к такому,
Есть мнения?
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.

только пояснения хочу получить, а так согласен с роботсом
Цитата
cstrife пишет:
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.
только пояснения хочу получить, а так согласен с роботсом


Насчёт pages, я и начал эту тему, а engine, я даже не знаю, я просто закрыл go, так как через него проходит редирект и многое запрещённое , думаю удалить
думаю если закрывать engines, то весь..
один хрен редирект идет дальше.

но это имхо. я так понимаю это DLE, а с ним я не работал еще
Да, это ДЛЕ. engines можно закрыть, полностью. Я не спец,
по этому и завёл эту темку. Надеюсь на отзовы специалистов и знатоков.
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.
там будит баннер?
Цитата
mozambik пишет:
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.

Да точно, спасиба, это просто ошибка . Просто хотел сделать блок для рекламы. Исправлю, ещё раз спасиба
aligon7, обычно папку engine закрывают целиком.
Amount News - полезный модуль для DLE

Фантики турбо - ностальгия по детству

53 рубля в день - на сайте с ТИЦ:10
Спасибо, закрыл, на пробу.
А почему, мой не правильный? Можно пояснить
Изменено: aligon7 - 17 Января 2012 21:00
Не стал создавать новую тему.
Задача такова. Имеется сайт.ру/ss/pp/1/2/

Нужно разрешить индексировать все стр начинающиеся с ss
Allow: /ss*
или так
Allow: /ss/
Правильно ли это?
PS не dle
Изменено: ninzj_lost - 30 Октября 2012 20:40
Правильный robots.txt для DLE сам не пробывал, но хотелось бы получить мнение специалистов.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
15:36 check over here russian-traditional-clothes 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
15:13 PaymentBoss: Надёжный P2P-эквайринг для бизнеса — UAH, RUB, KZT + 20+ валют | Apple Pay, Google Pay, Quasi-acquiring | Низкие комиссии и высокие лимиты 
12:59 Mixmasters - Exchange without AML and KYC 
09:05 Swapwatch.org — Мониторинг криптовалютных обменников 
08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:01 E-currency.exchange — ваш помощник в мире обменов 
15:24 Сайты Рунета 
15:22 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
12:41 Туалетные секреты: Замурчательная тема 
11:53 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
03:45 Гильотина для классиков: Клод доедает физические книги