Правильно ли составлен Robots ?

Сообщений: 335 Регистрация: Июн 2010

4 Марта 2012 03:20

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: --

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: --
Host: --
ничего лишнего нету?

FreakMurderer

Сообщений: 43 Регистрация: Окт 2011

4 Марта 2012 04:02

Для начала:
Лучше так :

Код
Disallow: /*print:

Не имеет смысла два раза для гугла и яндекса прописывать по полроботса
Лучше :

Код
User-agent: * ***** Sitemap: -- Host: --

А вообще, не лишним будет зайти в инструменты вебмастера Яши и ГУгла и там вручную еще раз проверить..

fobos234

Сообщений: 15 Регистрация: Дек 2011

4 Марта 2012 10:39

можно разве что картинки закрыть, а так можно почитать примеры - http://kapon.com.ua/str1.php

Изменено: fobos234 - 4 Марта 2012 10:46

dimakusch

Сообщений: 335 Регистрация: Июн 2010

4 Марта 2012 14:13

Или такой поставить?

Код

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site.ru

Напишите пожалуйста кто-то правильный робот.тхт для кино сайта. Что нужно оставить,а что убирать.
Буду очень благодарен

dimakusch Сообщений: 335 Регистрация: Июн 2010	#5 4 Марта 2012 14:32 И в вебмастере написано что исключены страницы типа /user/Admin/news/21-klyatva.htmlЭто нормально? 30 страниц исключено

Новые темы	Объявления	Свободное общение
09:34 SEO под нейро 16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках	10:21 AllCharge.online. Современный, быстрый и надёжный обменник 09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 09:01 Мониторинг обменников Сrypto-scout.io 20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 09:02 Ставки на супер тренды в спорте 01:00 Точные прогнозы на футбол 21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:24 Сайты Рунета

Новые темы

Объявления

Свободное общение

09:34 SEO под нейро
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках

10:21 AllCharge.online. Современный, быстрый и надёжный обменник
09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
09:01 Мониторинг обменников Сrypto-scout.io
20:15 Nexulume.com Обменник без AML и KYC
17:47 Продажа аккаунтов HH.RU
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно

09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
09:02 Ставки на супер тренды в спорте
01:00 Точные прогнозы на футбол
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
20:54 Туалетные секреты: Замурчательная тема
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
15:24 Сайты Рунета

26.06.2019 18:48	Сайт неправильно отдаёт 404
25.10.2017 05:49	Помогите разобраться,как правильно переехать с dle в wordpress
12.01.2017 22:21	Как правильно настроить 301 редирект?
21.11.2016 15:09	Правильно ли составил robots.txt?
09.04.2016 08:05	Правильно ли настроено .htaccess и robots.txt