Прошу помощи с robots.txt

Сообщений: 2 Регистрация: Янв 2014

3 Февраля 2014 20:13

Здравствуйте,помогите, пожалуйста составить правильный файл robots.txt для сайта жены : www.kids-help.ru
сайт давно был в запустении, сейчас начал им заниматься. Гугл начал индексировать сразу, а яндекс не хочет. Возможно проблема в robots.txt
сейчас он в таком виде (так понимаю по умолчанию):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Он полностью корректен, или его можно доработать (в яндексе в индексе всего 3 страницы)? Робот страницы добавляет, но в индекс не попадают...

Изменено: aglinsky - 3 Февраля 2014 20:13

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

3 Февраля 2014 20:58

Вы не указали версию движка. Вот пример для 1.5

Код

 User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /component/

Disallow: /ssylki/

Disallow: /poll-results/

Disallow: /contact

Disallow: /view-your

Disallow: /view-detail-of-order

Disallow: /vmchk/

Disallow: /*vmchk

Disallow: /otpravit-soobschenie/

Disallow: /view-your-cart-content

Disallow: /javascript

Disallow: /*feed/

Disallow: /*poisk

Disallow: /index.php

Disallow:/index2.php

Disallow: /*index.php

Disallow: /*?

Disallow: /*.xls$

Disallow: /*.doc$

Disallow: /*.pdf$

Disallow: /*.rtf$

Disallow: /*.zip$

Disallow: /*.rar$

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.htm$

Disallow: /*.html$

Allow: /

Host: ваш сайт.ru

Sitemap: http://ваш сайт.ru/Sitemap.xml

Ну и смотря какие урлы стоят по отношениям к строчкам
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
И
Disallow: /*.htm$
Disallow: /*.html$

Изменено: The Undertaker - 3 Февраля 2014 21:01

Уникальный контент выбирайте »тут« за недорого

Штырлиц

Сообщений: 858 Регистрация: Апр 2011

3 Февраля 2014 21:39

на первый взгляд, без знания движка, нужно убрать
Disallow: /images/
Disallow: /media/

ⓥ Три колечка цепляются друг за друга: ненависть от гнева, гнев от гордости
☠ Парсер контента для Wordpress
Записник WP http://wpcodeblog.wordpress.com/

WSairus

Сообщений: 1432 Регистрация: Июн 2010

3 Февраля 2014 22:11

Штырлиц, ну на счет images в большинстве случаев согласен. А вот media зачем отклывать - там же стандартные картинки от Joomla+модулей.

Партнёрки для заработка!

aglinsky Сообщений: 2 Регистрация: Янв 2014	#5 3 Февраля 2014 22:17 Да, версия Joomla 1.5.26

Новые темы	Объявления	Свободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 15:10 Google Discover Core Update: Дискавер отделяют от поиска? 11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?	04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:31 Профессиональный и грамотный дизайн от DesignCash 18:27 Nexulume.com Обменник без AML и KYC 15:45 Mixmasters - Exchange without AML and KYC 10:22 Swapwatch.org — Мониторинг криптовалютных обменников 10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML	02:08 KRAKEN // ссылка на февраль 2026 00:28 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 23:44 Точные прогнозы на футбол 18:34 Ставки на супер тренды в спорте 15:30 Гильотина для классиков: Клод доедает физические книги 11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

Новые темы

Объявления

Свободное общение

11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут
15:10 Google Discover Core Update: Дискавер отделяют от поиска?
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?

04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
02:31 Профессиональный и грамотный дизайн от DesignCash
18:27 Nexulume.com Обменник без AML и KYC
15:45 Mixmasters - Exchange without AML and KYC
10:22 Swapwatch.org — Мониторинг криптовалютных обменников
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML

02:08 K*R*A*K*EN // ссылка на февраль 2026
00:28 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
23:44 Точные прогнозы на футбол
18:34 Ставки на супер тренды в спорте
15:30 Гильотина для классиков: Клод доедает физические книги
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

06.12.2014 10:05	Опять прошу помощи...
30.08.2014 00:41	Как заменить шапку в шаблоне beez red на картинку??? Очень срочно, прошу помочь)
09.02.2014 21:29	Прошу помочь советом!
25.09.2013 18:18	Прощу помощи! Плагин фотогалереи Phoca Gallery. Возникла проблема.