Роботс txt
Страницы: Пред. 1 2 3 4 След.
Роботс txt
Цитата
Николай пишет:
а если я напишу Disallow: /index.phpразве она (домен.ру/index.php)будет индексироваться?


нет!
но возможно она ужк проиндексирована smile:p
Изменено: xmediasoft.ru - 14 Июня 2011 19:15

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

1)http://....... ./название товара или страницы.html
2)http://........ ./товар.html?page=shop.product_details&flypage

вот смотрите в 1 у меня так выглядит чисто джомла со статьями
2 у меня так выглядит вируалмарт название товара и абракодабра..это меня в принцие устраивает

но у моих ссылок вируалмарта место названия товар есть дубли http:/........ ./katalog.html?category_id=7&page=shop. и индекс пхп билибердень
вот это каталог? и индекс пхп? полностью дублирует и выводит абсолютно не нужные мне старницы ..все страницы котрые мне не нужны начинаются исключительно на:

1)сайт/katalog.html?
2)сайт/index.php?


плюс дубль главной страницы сайт/index.php

вот имено их я и хочу убрать
вот поэтому в дисалоу я убираю вопросик перед index.php что бы заодно у меня и дубль главной не индексировался
Все верно выше правильно написали если запретить c index.php то все будет норм, если есть страница без index.php, только тут уже звездочку в конце 1000% не ставтье).

И еще лучше чем запрещать (лечить последствия) лучше от нее избавится, выше так же написали один из вариантов как это сделать.
Цитата
xmediasoft.ru пишет:
Цитата
Николай пишет:
а если я напишу Disallow: /index.phpразве она (домен.ру/index.php)будет индексироваться?

нет!
но возможно она ужк проиндексирована

ничего страшного я это горе переживу..роботс ткст надо сперва правильно составить..а потом подумаю и над тем что с этим дублем главной дела
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /index2.php?*
Disallow: /katalog.html?*
Disallow: /index.php*

мои чпу при таком раскладе и главная остаются в индексе?

пойду в вебмастер вводить и проверять
Изменено: Николай - 14 Июня 2011 19:29
Цитата
SovaBarmak85 пишет:
И еще лучше чем запрещать (лечить последствия) лучше от нее избавится, выше так же написали один из вариантов как это сделать.


Наконец, уже лучше smile:) , ответ на поверхности, и поверь самый правильный, как тока поставишь noindex - будет тебе щасье smile:) , любой робот сунувшись увидев это пойдет спокойно дальше, не трагая эти страницы
1)сайт/katalog.html?*
2)сайт/index.php?
3)*com_virtuemart* - для марта со страницами индекс пхп билибердень

Такой вариант для ваших задач, это мое мнение, но сами по форумам - смотрели этих мнений...
и точно ли нужны эти звёздочки на конце?
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу
Цитата
xmediasoft.ru пишет:
Наконец, уже лучше , ответ на поверхности, и поверь самый правильный, как тока поставишь noindex - будет тебе щасье , любой робот сунувшись увидев это пойдет спокойно дальше, не трагая эти страницы

как бы вы порпекомендовали мне в этот ноиндекс пару сотен дублей внести? вручную на каждую страницу?
Цитата
SovaBarmak85 пишет:
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу

значит делать Disallow: /index.php?*....?....а как же дубль главной убрать сайт/index.php

Цитата
SovaBarmak85 пишет:
Disallow: /index.php* так не делайте мало ли где у вас нужная страница еще появится без чпу

да мне бы с уже существующими разобратьса, а не о новыз думать)

ещё раз спрошу..звёздочки вконце точно нужны?
Изменено: Николай - 14 Июня 2011 19:37
Цитата
Николай пишет:
как бы вы порпекомендовали мне в этот ноиндекс пару сотен дублей внести? вручную на каждую страницу?


Я незнаю что у тебя за CMS, да и с php не дружу - тут я тебе не помошник, к сожалению smile:( , попробуй прогуглить или спец. форумы по движкам, авось выгарит

а на своем самописном движке (.Net) - реализовал добавлением тега (автоматом) куда мне нужно
Цитата
Николай пишет:
дубль главной убрать сайт/index.php

чтоб убрать это просто Disallow: /index.php
без звездочки я ж сверху написал

1)сайт/katalog.html?*
2)сайт/index.php?
3)*com_virtuemart* - для марта со страницами индекс пхп билибердень

только тут сам ошибку допустил не так сайт/index.php? а так правильно сайт/index.php
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


дай точнее ссылки (побольше), можно без имени сайта, сам проверю и отпишусь
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


Disallow: /katalog.html?*
Disallow: /index.php
Disallow: /*com_virtuemart*

тут точно написаны зведочки там где надо, и нет там где ненадо)
Пиши
Disallow: /index.php*

Проверял у Гоши:
/index.php - Заблокировано по строке: Disallow: /index.php*
/index.php?id=354353 - Заблокировано по строке: Disallow: /index.php*
Цитата
xmediasoft.ru пишет:
дай точнее ссылки (побольше), можно без имени сайта, сам проверю и отпишусь

вобщем так ..я уже в гугле полазил и попосмотрел какии страницы лишнии а какие нет в индекс попали ...яндекс пишет и без взвёздочек ненужные не индексирует ,а нужные и ндексирует яв вебмастере уже проверил...так что мне в моём не мудрёном роботсе эти звёздочки точно не нужны..ибо в яндесе написано точно ..если звёздочки даже не стоит то она есть по умолчанию..значит никаие звёзды там не нужны

Цитата
SovaBarmak85 пишет:
Цитата
Николай пишет:
ещё раз спрошу..звёздочки вконце точно нужны?


Disallow: /*com_virtuemart*
тут точно написаны зведочки там где надо, и нет там где ненадо)


зачем мне это " /*com_virtuemart*" у меня не одной страницы нету с такой абривеатурой

Цитата
xmediasoft.ru пишет:
Пиши
Disallow: /index.php*
Проверял у Гоши:
/index.php - Заблокировано по строке: Disallow: /index.php*
/index.php?id=354353 - Заблокировано по строке: Disallow: /index.php*

а без звёздочки не блокировал?

я посталю эти звёздочки они не ипромешают..дело ваше
Изменено: Николай - 14 Июня 2011 19:55
Страницы: Пред. 1 2 3 4 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:24 Яндекс тИЦ 03.12.2016 
03:34 Adsense личный опыт 
23:49 Апдейт Яндекса 03.12.2016 
23:39 Более 100 уникальных статей а трафика почти нет. 
23:30 молодой сайт в топе 
23:15 Можно дублировать стараницы сайт/форум? 
21:49 Платная регистрация 
04:08 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
03:35 Нужен скрипт по проверке изменений на странице 
02:00 Продам новостной сайт 
22:43 Продам домены РУС 
20:17 Размещу ссылку на сайте строительной тематики 190 руб 
20:14 Куплю аккаунт Google Adsense 
19:03 Продам Доску объявлений 
01:51 Книга "Просветление за полчаса" 
00:41 Гугл не хочет индексировать 
23:34 «Угадай дату апдейта тИЦ» — получи Xneolinks + 500 рублей! 
20:02 Продам торрент трекер 
19:16 Если у Вас будет возможность потратить на Трастике 10 тыс.руб. 
18:55 Девушку приговорили к году тюрьмы после угроз самой себе в фейсбуке 
12:19 Японские ученые: шумное кафе меньше отвлекает от работы, чем офис