Прошу помощи с robots.txt

Сообщений: 2 Регистрация: Янв 2014

3 Февраля 2014 20:13

Здравствуйте,помогите, пожалуйста составить правильный файл robots.txt для сайта жены : www.kids-help.ru
сайт давно был в запустении, сейчас начал им заниматься. Гугл начал индексировать сразу, а яндекс не хочет. Возможно проблема в robots.txt
сейчас он в таком виде (так понимаю по умолчанию):

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Он полностью корректен, или его можно доработать (в яндексе в индексе всего 3 страницы)? Робот страницы добавляет, но в индекс не попадают...

Изменено: aglinsky - 3 Февраля 2014 20:13

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

3 Февраля 2014 20:58

Вы не указали версию движка. Вот пример для 1.5

Код

 User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /component/

Disallow: /ssylki/

Disallow: /poll-results/

Disallow: /contact

Disallow: /view-your

Disallow: /view-detail-of-order

Disallow: /vmchk/

Disallow: /*vmchk

Disallow: /otpravit-soobschenie/

Disallow: /view-your-cart-content

Disallow: /javascript

Disallow: /*feed/

Disallow: /*poisk

Disallow: /index.php

Disallow:/index2.php

Disallow: /*index.php

Disallow: /*?

Disallow: /*.xls$

Disallow: /*.doc$

Disallow: /*.pdf$

Disallow: /*.rtf$

Disallow: /*.zip$

Disallow: /*.rar$

Disallow: /*.css$

Disallow: /*.js$

Disallow: /*.htm$

Disallow: /*.html$

Allow: /

Host: ваш сайт.ru

Sitemap: http://ваш сайт.ru/Sitemap.xml

Ну и смотря какие урлы стоят по отношениям к строчкам
Disallow: /index.php
Disallow:/index2.php
Disallow: /*index.php
И
Disallow: /*.htm$
Disallow: /*.html$

Изменено: The Undertaker - 3 Февраля 2014 21:01

Уникальный контент выбирайте »тут« за недорого

Штырлиц

Сообщений: 858 Регистрация: Апр 2011

3 Февраля 2014 21:39

на первый взгляд, без знания движка, нужно убрать
Disallow: /images/
Disallow: /media/

ⓥ Три колечка цепляются друг за друга: ненависть от гнева, гнев от гордости
☠ Парсер контента для Wordpress
Записник WP http://wpcodeblog.wordpress.com/

WSairus

Сообщений: 1432 Регистрация: Июн 2010

3 Февраля 2014 22:11

Штырлиц, ну на счет images в большинстве случаев согласен. А вот media зачем отклывать - там же стандартные картинки от Joomla+модулей.

Партнёрки для заработка!

aglinsky Сообщений: 2 Регистрация: Янв 2014	#5 3 Февраля 2014 22:17 Да, версия Joomla 1.5.26

Новые темы	Объявления	Свободное общение
22:55 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 22:08 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 21:18 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 19:05 Gambling Craft - гемблинг по белому 21:45 Как сократить ссылку и зачем это делать. 16:49 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram 19:14 Magic click - гемблинг пп, ставки выше конкурентов	22:08 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 16:13 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные 13:49 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 11:20 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 11:05 Высококачественные и надежные прокси-серверы и 5G 10:14 BestChange – обменивать электронную валюту можно быстро и выгодно 21:12 Ural-obmen.ru — выгодный сервис обмена	18:35 Точные прогнозы на футбол 20:22 Как получить рефералов и посетителей на сайт бесплатно. 18:31 Видимо, похороны СУПРа уже прошли как-то по-тихому 12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

22:55 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
22:08 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
21:18 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
19:05 Gambling Craft - гемблинг по белому
21:45 Как сократить ссылку и зачем это делать.
16:49 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram
19:14 Magic click - гемблинг пп, ставки выше конкурентов

22:08 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
16:13 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные
13:49 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
11:20 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram
11:05 Высококачественные и надежные прокси-серверы и 5G
10:14 BestChange – обменивать электронную валюту можно быстро и выгодно
21:12 Ural-obmen.ru — выгодный сервис обмена

18:35 Точные прогнозы на футбол
20:22 Как получить рефералов и посетителей на сайт бесплатно.
18:31 Видимо, похороны СУПРа уже прошли как-то по-тихому
12:48 Каспкрски ОС
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок
15:24 Добро пожаловать в цифровой мир...

06.12.2014 10:05	Опять прошу помощи...
30.08.2014 00:41	Как заменить шапку в шаблоне beez red на картинку??? Очень срочно, прошу помочь)
09.02.2014 21:29	Прошу помочь советом!
25.09.2013 18:18	Прощу помощи! Плагин фотогалереи Phoca Gallery. Возникла проблема.