Прошу помощи с robots.txt

Сообщений: 2 Регистрация: Янв 2014

3 Февраля 2014 20:13

Здравствуйте,помогите, пожалуйста составить правильный файл robots.txt для сайта жены : www.kids-help.ru
сайт давно был в запустении, сейчас начал им заниматься. Гугл начал индексировать сразу, а яндекс не хочет. Возможно проблема в robots.txt
сейчас он в таком виде (так понимаю по умолчанию):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Он полностью корректен, или его можно доработать (в яндексе в индексе всего 3 страницы)? Робот страницы добавляет, но в индекс не попадают...

Изменено: aglinsky - 3 Февраля 2014 20:13

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

3 Февраля 2014 20:58

Вы не указали версию движка. Вот пример для 1.5

Код

 User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /component/

Disallow: /ssylki/

Disallow: /poll-results/

Disallow: /contact

Disallow: /view-your

Disallow: /view-detail-of-order

Disallow: /vmchk/

Disallow: /*vmchk

Disallow: /otpravit-soobschenie/

Disallow: /view-your-cart-content

Disallow: /javascript

Disallow: /*feed/

Disallow: /*poisk

Disallow: /index.php

Disallow:/index2.php

Disallow: /*index.php

Disallow: /*?

Disallow: /*.xls$

Disallow: /*.doc$

Disallow: /*.pdf$

Disallow: /*.rtf$

Disallow: /*.zip$

Disallow: /*.rar$

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.htm$

Disallow: /*.html$

Allow: /

Host: ваш сайт.ru

Sitemap: http://ваш сайт.ru/Sitemap.xml

Ну и смотря какие урлы стоят по отношениям к строчкам
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
И
Disallow: /*.htm$
Disallow: /*.html$

Изменено: The Undertaker - 3 Февраля 2014 21:01

Уникальный контент выбирайте »тут« за недорого

Штырлиц

Сообщений: 858 Регистрация: Апр 2011

3 Февраля 2014 21:39

на первый взгляд, без знания движка, нужно убрать
Disallow: /images/
Disallow: /media/

ⓥ Три колечка цепляются друг за друга: ненависть от гнева, гнев от гордости
☠ Парсер контента для Wordpress
Записник WP http://wpcodeblog.wordpress.com/

WSairus

Сообщений: 1432 Регистрация: Июн 2010

3 Февраля 2014 22:11

Штырлиц, ну на счет images в большинстве случаев согласен. А вот media зачем отклывать - там же стандартные картинки от Joomla+модулей.

Партнёрки для заработка!

aglinsky Сообщений: 2 Регистрация: Янв 2014	#5 3 Февраля 2014 22:17 Да, версия Joomla 1.5.26

Новые темы	Объявления	Свободное общение
15:19 Refmate — сервис для взаимного обмена ссылками 13:06 Продвижение по ключам 09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд	17:38 swapsfera.com 17:30 GoodsMoney.io 16:25 JustProxy.Biz - Резидентные прокси без ограничения по трафику 14:43 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 14:18 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 13:41 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 09:36 Profit-smm.ru - (просмотры даром)качественная раскрутка в Vk/Inst/Yt/Tg/Tiktok за наилучшую цену!	17:46 Всего п онемногу 12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

15:19 Refmate — сервис для взаимного обмена ссылками
13:06 Продвижение по ключам
09:47 Adsense личный опыт
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
08:27 Ищу специалистов
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд

17:38 swapsfera.com
17:30 GoodsMoney.io
16:25 JustProxy.Biz - Резидентные прокси без ограничения по трафику
14:43 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
14:18 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
13:41 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox
09:36 Profit-smm.ru - (просмотры даром)качественная раскрутка в Vk/Inst/Yt/Tg/Tiktok за наилучшую цену!

17:46 Всего п онемногу
12:45 Куплю проигрышные букмекерские аккаунты
11:55 Union Pharm - топовая фарма-партнерка для профессионалов!
17:09 Точные прогнозы на футбол
10:00 Ну что, кто куда деваете свои сайты?
16:22 Компьютерная мышь
23:55 Добро пожаловать в цифровой мир...

06.12.2014 10:05	Опять прошу помощи...
30.08.2014 00:41	Как заменить шапку в шаблоне beez red на картинку??? Очень срочно, прошу помочь)
09.02.2014 21:29	Прошу помочь советом!
25.09.2013 18:18	Прощу помощи! Плагин фотогалереи Phoca Gallery. Возникла проблема.