Роботс txt
Страницы: Пред. 1 2 3 4 След.
Роботс txt
Цитата
Николай пишет:
а если я напишу Disallow: /index.phpразве она (домен.ру/index.php)будет индексироваться?


нет!
но возможно она ужк проиндексирована smile:p
Изменено: xmediasoft.ru - 14 Июня 2011 19:15

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

1)http://....... ./название товара или страницы.html
2)http://........ ./товар.html?page=shop.product_details&flypage

вот смотрите в 1 у меня так выглядит чисто джомла со статьями
2 у меня так выглядит вируалмарт название товара и абракодабра..это меня в принцие устраивает

но у моих ссылок вируалмарта место названия товар есть дубли http:/........ ./katalog.html?category_id=7&page=shop. и индекс пхп билибердень
вот это каталог? и индекс пхп? полностью дублирует и выводит абсолютно не нужные мне старницы ..все страницы котрые мне не нужны начинаются исключительно на:

1)сайт/katalog.html?
2)сайт/index.php?


плюс дубль главной страницы сайт/index.php

вот имено их я и хочу убрать
вот поэтому в дисалоу я убираю вопросик перед index.php что бы заодно у меня и дубль главной не индексировался
Все верно выше правильно написали если запретить c index.php то все будет норм, если есть страница без index.php, только тут уже звездочку в конце 1000% не ставтье).

И еще лучше чем запрещать (лечить последствия) лучше от нее избавится, выше так же написали один из вариантов как это сделать.
Цитата
xmediasoft.ru пишет:
Цитата
Николай пишет:
а если я напишу Disallow: /index.phpразве она (домен.ру/index.php)будет индексироваться?

нет!
но возможно она ужк проиндексирована

ничего страшного я это горе переживу..роботс ткст надо сперва правильно составить..а потом подумаю и над тем что с этим дублем главной дела
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /index2.php?*
Disallow: /katalog.html?*
Disallow: /index.php*

мои чпу при таком раскладе и главная остаются в индексе?

пойду в вебмастер вводить и проверять
Изменено: Николай - 14 Июня 2011 19:29
Цитата
SovaBarmak85 пишет:
И еще лучше чем запрещать (лечить последствия) лучше от нее избавится, выше так же написали один из вариантов как это сделать.


Наконец, уже лучше smile:) , ответ на поверхности, и поверь самый правильный, как тока поставишь noindex - будет тебе щасье smile:) , любой робот сунувшись увидев это пойдет спокойно дальше, не трагая эти страницы
1)сайт/katalog.html?*
2)сайт/index.php?
3)*com_virtuemart* - для марта со страницами индекс пхп билибердень

Такой вариант для ваших задач, это мое мнение, но сами по форумам - смотрели этих мнений...
и точно ли нужны эти звёздочки на конце?
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу
Цитата
xmediasoft.ru пишет:
Наконец, уже лучше , ответ на поверхности, и поверь самый правильный, как тока поставишь noindex - будет тебе щасье , любой робот сунувшись увидев это пойдет спокойно дальше, не трагая эти страницы

как бы вы порпекомендовали мне в этот ноиндекс пару сотен дублей внести? вручную на каждую страницу?
Цитата
SovaBarmak85 пишет:
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу

значит делать Disallow: /index.php?*....?....а как же дубль главной убрать сайт/index.php

Цитата
SovaBarmak85 пишет:
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу

да мне бы с уже существующими разобратьса, а не о новыз думать)

ещё раз спрошу..звёздочки вконце точно нужны?
Изменено: Николай - 14 Июня 2011 19:37
Цитата
Николай пишет:
как бы вы порпекомендовали мне в этот ноиндекс пару сотен дублей внести? вручную на каждую страницу?


Я незнаю что у тебя за CMS, да и с php не дружу - тут я тебе не помошник, к сожалению smile:( , попробуй прогуглить или спец. форумы по движкам, авось выгарит

а на своем самописном движке (.Net) - реализовал добавлением тега (автоматом) куда мне нужно
Цитата
Николай пишет:
дубль главной убрать сайт/index.php

чтоб убрать это просто Disallow: /index.php
без звездочки я ж сверху написал

1)сайт/katalog.html?*
2)сайт/index.php?
3)*com_virtuemart* - для марта со страницами индекс пхп билибердень

только тут сам ошибку допустил не так сайт/index.php? а так правильно сайт/index.php
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


дай точнее ссылки (побольше), можно без имени сайта, сам проверю и отпишусь
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


Disallow: /katalog.html?*
Disallow: /index.php
Disallow: /*com_virtuemart*

тут точно написаны зведочки там где надо, и нет там где ненадо)
Пиши
Disallow: /index.php*

Проверял у Гоши:
/index.php - Заблокировано по строке: Disallow: /index.php*
/index.php?id=354353 - Заблокировано по строке: Disallow: /index.php*
Цитата
xmediasoft.ru пишет:
дай точнее ссылки (побольше), можно без имени сайта, сам проверю и отпишусь

вобщем так ..я уже в гугле полазил и попосмотрел какии страницы лишнии а какие нет в индекс попали ...яндекс пишет и без взвёздочек ненужные не индексирует ,а нужные и ндексирует яв вебмастере уже проверил...так что мне в моём не мудрёном роботсе эти звёздочки точно не нужны..ибо в яндесе написано точно ..если звёздочки даже не стоит то она есть по умолчанию..значит никаие звёзды там не нужны

Цитата
SovaBarmak85 пишет:
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


Disallow: /*com_virtuemart*
тут точно написаны зведочки там где надо, и нет там где ненадо)


зачем мне это " /*com_virtuemart*" у меня не одной страницы нету с такой абривеатурой

Цитата
xmediasoft.ru пишет:
Пиши
Disallow: /index.php*
Проверял у Гоши:
/index.php - Заблокировано по строке: Disallow: /index.php*
/index.php?id=354353 - Заблокировано по строке: Disallow: /index.php*

а без звёздочки не блокировал?

я посталю эти звёздочки они не ипромешают..дело ваше
Изменено: Николай - 14 Июня 2011 19:55
Страницы: Пред. 1 2 3 4 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:49 Яндекс тИЦ 16.02.2017 
01:14 Что любит гугл в 2017 году? 
22:13 Как влияют исходящие ссылки с сайта на сторонние ресурсы? 
21:26 Помощь по увеличению количества посетителей 
21:19 Рекламная сеть яндекса личный опыт 
20:50 Апдейт 19 февраля 2017 года 
20:50 Подключение к AdSense 
23:45 Бесплатный SEO-Аудит. Получи 3 полных отчета по сайту! 
23:29 Статейный прогон 
22:17 Дизайн баннеров 
21:58 Делаю рерайт 
21:03 Размещение статей, ссылок и постовых на качественных ресурсах 
20:38 РегОК RU - Регер RU аккаунтов "ОдноКлассники" 
20:38 ГостьОК 2.0 Pro - Многопоточная гулялка для "ОдноКлассники" 
01:24 Ваш пост/реклама вконтакте 
01:09 Роскомнадзор поинтересовался посещаемостью Google News и "Яндекс.Новостей" 
00:49 Где можно разместить ссылку на группу 
00:41 Отмена приглашений вконтакте группа (скрипт) 
00:29 Один сайт и 3 офиса, работающих за % 
00:27 Бесплатная база трастовых сайтов, для профильного прогона!, 100 сайтов, ТИЦ от 50 и до 1100 
00:23 Ребят помогите настроить title убрать лишнее