Robots.txt
Страницы: Пред. 1 2
Robots.txt, Нужно ли это в Robots.txt
Я vebmaster24.ru]тут попробовал незнаю как повлияет:confused:
SeoClub.su - раскрутка YouTube (есть API) и VK!
кто скажет это нормально или нет

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Цитата
aligon7 пишет:
У меня в Robots.txt стоит вот такая фишка.
Disallow: /page/
Disallow: /tags/
Надо так:

Disallow: /page/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: /tags/
Disallow: /tags/*/
Александр Семенов,  если не править двиг, Ваш robots.txt слегка подправить можно:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /tags/
Disallow: /user/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /*?*
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Sitemap: site.ru/sitemap.xml
Host: site.ru
Все, что в Google-панели лишнего вылезает можно плавно в роботс добавлять...
У Алаева эта тема действительно очень хорошо разжевана.
Цитата
Юрий пишет:
Цитата
aligon7 пишет:
У меня в Robots.txt стоит вот такая фишка.
Disallow: /page/
Disallow: /tags/
Надо так:
Disallow: /page/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: /tags/
Disallow: /tags/*/
Зачем же так много вариаций со звёздочками и page? Сейчас практикую с /page/* и */page/ - после чего у меня закрываются уже по немногу ссылки такого вида: сайт/квартиры/однокомнатные_квартиры_посуточно/
 поэтому я считаю, лишние варианты особо и не нужны)
http://posutochno.donetsk.ua - мой первыый и лучший сайт!
Цитата
Макс $$$ пишет:
поэтому я считаю, лишние варианты особо и не нужны
Лишние они не будут, некоторым роботам (особенно Гуглу) нужно конкретно указывать, что индексировать, а что нет.
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: serials-tv.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: serials-tv.com/
Sitemap: serials-tv.com/sitemap.xml
User-agent: MediaPartners-Google
Allow: /
User-agent: YandexDirect
Allow: /  

теперь так сделал
Вот что бы не мучатся с этим Robots почитайте статью alaev.info/blog/post/3900 - Правильный robots.txt для DLE – какой он?
я к примеру сделал так: Disallow: /index.php* и искренее верю, что вот так делать не прийдётся в роботсе:
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Цитата
Макс $$$ пишет:
я к примеру сделал так: Disallow: /index.php* и искренее верю, что вот так делать не прийдётся в роботсе:
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Пошел дальше:
Disallow: /index*

После этого исчезли также страницы вида site/index/razdel/stranica.html
Остались  site/razdel/stranica.html
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://sp-torrent.ru/sitemap.xml
Sitemap: http://sp-torrent.ru/sitemap-forum.xml
Sitemap: http://sp-torrent.ru/sitemap-shop.xml

у меня вот такой робот,нормальный?smile:confused:
А у тебя вообще то ucoz а не dle
баня под ключ не дорого
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:22 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
06:06 Яндекс прекращает поддержку технологии Турбо 
05:50 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 
09:03 Нужна помощь советом! 
20:01 Работаем в P2P платежах BYBIT | USDT - RUB , RUB - USDT | Ищем постоянных клиентов , выгодные условия. 
19:04 Gambling Craft - гемблинг по белому 
10:44 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
10:43 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
10:26 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
14:59 Volna.money 
14:24 WebKazna. Обмены криптовалют. Доставка наличных. 
09:22 Продам Домены .COM с историей трафика. 
09:15 Услуги парсинга, заказать парсинг сайта и магазинов 
20:51 Точные прогнозы на футбол 
23:47 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
11:58 Куплю проигрышные букмекерские аккаунты 
00:12 Огородники 
10:59 Новости искусственного интеллекта 
04:26 Хром ругается на форум