Robots.txt
Страницы: 1 2 След.
Robots.txt, Нужно ли это в Robots.txt
У меня в Robots.txt стоит вот такая фишка.
Disallow: /page/
Disallow: /tags/

Интересует мнения, Нужно это в Robots.txt или это негативно влияет на сайт
всё таки теги и страницы закрыты от индексации
Муравейник вообще изумительная штука: казалось бы, куча мусора, но какая посещаемость!
Наоборот положительно влияет. Так уменьшается количество дублей в индексе.
я на своем сайте (вордпресс) наоборот открыл категории. Но тут случай единичный, просто входящие ссылки идут как раз на категории.
я нармальный, не маньяк, чесна.
пытаюсь поднять сайт о гороскопах csrtife.ru
Спасибо, вот мой робот.

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*rss
Disallow: /page/
Disallow: /tags/
Disallow: /*print
Disallow: /ruls.html
Disallow: /favorites/
Disallow: /*do=search
Disallow: /*http://seodude.ru/blog/2011/01/24/dude-smart-leech-0-4-beta/
Sitemap: http://sezontv.ru/sitemap.xml
Host: sezontv.ru


Я сделал робот , отдельно для яши. Проверил в яндекс веб мастер, всё работает.
Как вы ВСЕ относитесь к такому,
Есть мнения?
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.

только пояснения хочу получить, а так согласен с роботсом
Цитата
cstrife пишет:
вопрос к каталогу engine. там точно нужно только 1 страницу закрыть?
смысл закрывать pages? они ж по сути уникальные будут.
только пояснения хочу получить, а так согласен с роботсом


Насчёт pages, я и начал эту тему, а engine, я даже не знаю, я просто закрыл go, так как через него проходит редирект и многое запрещённое , думаю удалить
думаю если закрывать engines, то весь..
один хрен редирект идет дальше.

но это имхо. я так понимаю это DLE, а с ним я не работал еще
Да, это ДЛЕ. engines можно закрыть, полностью. Я не спец,
по этому и завёл эту темку. Надеюсь на отзовы специалистов и знатоков.
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.
там будит баннер?
Цитата
mozambik пишет:
Можно вопрос?
В правом нижнем углу Вашего сайта имеется фраза "Что то будит"
Не совсем понятен смысл оной. Кто и кого будет будить.
Может Вы хотели написать "Что-то будет" ?
Cпасибо.

Да точно, спасиба, это просто ошибка . Просто хотел сделать блок для рекламы. Исправлю, ещё раз спасиба
aligon7, обычно папку engine закрывают целиком.
Amount News - полезный модуль для DLE

Фантики турбо - ностальгия по детству

53 рубля в день - на сайте с ТИЦ:10
Спасибо, закрыл, на пробу.
А почему, мой не правильный? Можно пояснить
Изменено: aligon7 - 17 Января 2012 21:00
Не стал создавать новую тему.
Задача такова. Имеется сайт.ру/ss/pp/1/2/

Нужно разрешить индексировать все стр начинающиеся с ss
Allow: /ss*
или так
Allow: /ss/
Правильно ли это?
PS не dle
Изменено: ninzj_lost - 30 Октября 2012 20:40
Правильный robots.txt для DLE сам не пробывал, но хотелось бы получить мнение специалистов.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:22 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
06:06 Яндекс прекращает поддержку технологии Турбо 
05:50 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 
09:03 Нужна помощь советом! 
20:01 Работаем в P2P платежах BYBIT | USDT - RUB , RUB - USDT | Ищем постоянных клиентов , выгодные условия. 
19:04 Gambling Craft - гемблинг по белому 
10:44 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
10:43 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
10:26 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
14:59 Volna.money 
14:24 WebKazna. Обмены криптовалют. Доставка наличных. 
09:22 Продам Домены .COM с историей трафика. 
09:15 Услуги парсинга, заказать парсинг сайта и магазинов 
20:51 Точные прогнозы на футбол 
23:47 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
11:58 Куплю проигрышные букмекерские аккаунты 
00:12 Огородники 
10:59 Новости искусственного интеллекта 
04:26 Хром ругается на форум