Вопрос по robots.txt
Страницы: 1
Вопрос по robots.txt
Google прислал письмо что нужно в robots.txt разместить данные строки ниже, не повлияет ли это на поисковую систему Яндекс (в плане выдаче)?

User-agent: Mediapartners-Google
Disallow:
Изменено: Франческо Фиери - 25 Апреля 2013 16:59
Нет, Яндекс эти строки будет игнорить
а еще будут мнения?
Нет на поисковой выдаче это не отразится.Предлагаю вам вообще закрыть всё что вам нужно метатэгами,а роботс сделать таким
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: site.ru/sitemap.xml
На 100% не уверен,но мне кажется чем короче роботс тем лучше
Никогда не понимал, какой смысл делать несколько правил в robots. Сделайте общее правило, для всех пауков, и не заморачивайтесь.
На сколько для DLE правильный робот?


User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /tags/
Disallow: /page/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: сайт.ru

Sitemap: http://сайт.ru/sitemap.xml
Посмотрите:

ddle.ru/pravilnyy-robotstxt-i-htaccess-dlya-dle.html

dleblog.ru/218-sostavlyaem-pravilnyy-robotstxt-dlya-dle-sayta.html
Сто раз уже писали. http://alaev.info/blog/post/3900
Цитата
GLK пишет:
dleblog.ru/218-sostavlyaem-pravilnyy-robotstxt-dlya-dle-sayta.html
Сделал, надеюсь не повредит сайту ваш метод.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:31 Профессиональный и грамотный дизайн от DesignCash 
18:27 Nexulume.com Обменник без AML и KYC 
15:45 Mixmasters - Exchange without AML and KYC 
10:22 Swapwatch.org — Мониторинг криптовалютных обменников 
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
05:10 Точные прогнозы на футбол 
02:08 K*R*A*K*EN // ссылка на февраль 2026 
00:28 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
18:34 Ставки на супер тренды в спорте 
15:30 Гильотина для классиков: Клод доедает физические книги 
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес