Роботс txt
Страницы: 1 2 3 4 След.
Роботс txt
Такое дело подскажите кто может....провермил я на днях свою джумлу с виртуал мартом и нашёл кучу дублей страниц....мне они в принципе не надо и захотел я их убрать их поиска прописав в робот txt.
собсвено мне нужно имено удалить из поиска всего три вида страниц начинающихся:
1)сайт/katalog.html?
2)сайт/index.php?
3)сайт/component/

хочу полностью убрать их и з поиска...я не долго думая погуглил быстро и прописал в роботс ткст:
Disallow: /component/
Disallow: /katalog.html?
Disallow: /index.php?

потом полазил почитал ещё немного и пришёл в некотрое замешательсво в других местах уже советовали сделать так

Disallow: /component/*
Disallow: /katalog.html?*
Disallow: /index.php?*

то есть уже со звёздочкой на конце


полез я опять искать решение в гугле нашёл где советовали вообще писать без вопроса в конце:
Disallow: /component/*
Disallow: /katalog.html*
Disallow: /index.php*

давай я опять искать, а вдругом месте уже пишут что надо писатьи без вопроса и без звёздочки в конце

Disallow: /component/
Disallow: /katalog.html
Disallow: /index.php

Хочу обратить внимание что потратил я на изучение данного вопроса пару часов облазив не один десяток форумов и везде встречаличь разные советы, а юзеры между собой ругались и спорили называя друг друга дибилами котрые ничег не смыслят в роботс тхт

в итоге я записываю в роботс ткст следующее:

Disallow: /component/
Disallow: /katalog.html
Disallow: /index.php
Disallow: /component/*
Disallow: /katalog.html?*
Disallow: /index.php?*
Disallow: /component/*
Disallow: /katalog.html*
Disallow: /index.php
Disallow: /component/
Disallow: /katalog.html?
Disallow: /index.php?

то есть со всеми возможными вариантами что мне удалось в нете найти что бы наверняка не ошибится

вообщем я уже в конец отчаялся и решил всё же спросить тут как мне исключить из поиска все страницы начинающиеся с :

Disallow: /component/
Disallow: /katalog.html?
Disallow: /index.php?

хочу заметить что таких страниц которые так начинаются у меня пару сотен

подскажите кто чем может)

сейчас еще малость поискал и нашёл http://help.yandex.ru/webmaster/?id=996567#996572


вроде бы первый раз я правильно написал всё:

Disallow: /component/
Disallow: /katalog.html?
Disallow: /index.php?

звёздочка это и так по умолчанию стоит если её не указано.
Изменено: Николай - 14 Июня 2011 17:03

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Цитата
Николай пишет:
Disallow: /component/

Все правильно, если необходимо закрыть папку или каталог.

Цитата
Николай пишет:
Disallow: /katalog.html*
Disallow: /index.php*

Правильнее, если необходимо закрыть динамический файл.
* - режит все хвосты типа: ?id=jkh3453hkjh45k3 и (или) другие подобные параметры, втом числе и сами файлы
katalog.html, index.php без параметров.

А вообще можно зайти в вебмастер панель, (хоть Гоша, хоть Яша), там есть проверка "robots.txt":
Гоша - "Конфигурация сайта - Доступ для сканера"
Яша - "Настройка индексирования - Анализ robots.txt"
!!! меняешь там строки и сразу проверяешь на ссылках, добиваясь блокировки

На самом деле, если Гоша и Яша эти станицы уже проиндексировал, выход только один:
- сначала удалить их из индекса мета тегом: noindex, а затем, после удаления, запретить в роботс.тхт

Надеюсь понятно написал, удачи.
Изменено: xmediasoft.ru - 14 Июня 2011 18:14
Вот у меня в индексах гугла и яндекса все нужные страницы джумлы и марта http://torgoborud.com.ua/robots.txt что не ясно могу объяснить

З.Ы. такой роботс актуален при установленном и включенном сэф компоненте, у меня например сеф404
Изменено: SovaBarmak85 - 14 Июня 2011 18:28
Цитата
xmediasoft.ru пишет:
Правильнее, если необходимо закрыть динамический файл.
* - режит все хвосты типа: ?id=jkh3453hkjh45k3 и (или) другие подобные параметры, втом числе и сами файлы
.

в яндексе же писали что если эту звёздочку не ставить в конце, по умолчанию считается что она и так стоит ..зачем же её тогда прописывать?

"По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое"

Цитата
xmediasoft.ru пишет:
Яша - "Настройка индексирования - Анализ robots.txt"
!!! меняешь там строки и сразу проверяешь на ссылках, добиваясь блокировки


спасибо..щас пойду погляжу что там к чему

Цитата
xmediasoft.ru пишет:
Надеюсь понятно написал, удачи.


зря надеетесь)
Цитата
SovaBarmak85 пишет:
Вот у меня в индексах гугла и яндекса все нужные страницы джумлы и марта http://torgoborud.com.ua/robots.txt что не ясно могу объяснить


спасибо..если сейчас не разберусь то обязательно спрошу)

голова уже совсем не соображает
Я свои роботс.тхт в вебмастерах проверял - добиваясь нужного мне результата, самое главное незабыть потом сохранить результат smile:D
Всё я больше ничего и знать не хочу ..полез в вебмастер так ничего и не понял..и разбираться даже не хочу

вот мой роботс ткст другого на сайте нету

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /index2.php?
Disallow: /katalog.html?
Disallow: /index.php


жирным выделил то что я сегодня туда написал....вы мне только одно скажите , только прошу без умных слов:

у меня сайт индексирооваться будет? все мои остальные нормальные ссылки чпу из индекса не выпадут?

и обязательно ли мне сейчас эту звёздочку в конец добавлять или и так сойдёт?

кстати у меня главная отбражаться может по двум адресам..сайт.ру и сайт.ру/index.php...правильно ли я и этот дубль главной занёс в тхт что бы он не индексировался?
Цитата
xmediasoft.ru пишет:
Я свои роботс.тхт в вебмастерах проверял - добиваясь нужного мне результата, самое главное незабыть потом сохранить результат

я вот тоже проверил в результате выскочило в вебмастере точно такое же тхт как и на сайте
а внизу вроде страницы старые которые из индекса выкинул яндекс давно

Используемые секции

Строка

1-19
User-agent: *
Disallow: /administrator/
...
Disallow: /index.php


а почему нету /katalog.html? и /component/
Изменено: Николай - 14 Июня 2011 18:55
Цитата
Николай пишет:
я вот тоже проверил в результате выскочило в вебмастере точно такое же тхт как и на сайте
а внизу вроде страницы старые которые из индекса выкинул яндекс давно


smile:D
Все правильно он сначала скачал существущий smile:D
а кто сказал, что там где отобразился его нельзя менять, меняй как хочешь и проверяй
Единственное: как я уже писал, если страницы попали в индекс, или поле зрения поисковиков, мера с роботс.тхт не стоит дырки от бублика smile:p , т.к. поисковики будут писать что файлы заблокированы, а сами будут продолжать их обходить, проверяя мож ты их разблокировал, или произошла каката ошибка, а потом будешь еще месяца 2-3 парится удаляя их и индекса, к сожалению проверено на собсвенном опыте smile:(
кажется понял..там надо вставлять ссылки котрые проверяешь, будут ли они в индексе или они в индексе и ли нет
тут звездочка нужна
Disallow: /index2.php?
Disallow: /katalog.html?

чтоб так было
Disallow: /index2.php?*
Disallow: /katalog.html?*

это плохо очень, или вы хотите чтоб не индексировалась главная?
Disallow: /index.php

и еще раз, урлы у вас чпу?
Цитата
xmediasoft.ru пишет:
и еще раз, урлы у вас чпу?

в самой джумле чпу ,в виртуалмарте нет....вот в вируалмарте они мне и не надо
Изменено: Николай - 14 Июня 2011 19:01
Цитата
SovaBarmak85 пишет:
это плохо очень, или вы хотите чтоб не индексировалась главная?
Disallow: /index.php
?


у меня же главная домен.ру....зачем мне дубль главной домен.ру/index.php?
или вы считаете что если я напишу Disallow: /index.php у меня не будет домен.ру индексироваться?
Цитата
Николай пишет:
сайт.ру и сайт.ру/index.php


это очень плохо, т.к. получатся две одинаковых страницы (1:1) с разными адресами smile:( , срочно нужно исправлять, т.е. оставить одну - лучше: сайт.ру, это можно сделать, взависимости от движка, URLRewrite-ом - доп. модуль, есть для всех CMS и даже серверов
Цитата
Николай пишет:
в самой джумле чпу ,в виртуалмарте нет....вот в вируалмарте они мне и не надо


Виртумалт из-за своей большой гибкости может одну страницу с разными урлами создавать, в зависимости от данных которые передаются и откуда они передаются, где где, а там стоит делать чпу во избежание дублей страниц, если вы хотите закрыть его полностью, то это другое дело.

А лучше чтоб вы дали ссылку на сайт и показали на пальцах какие типы страниц вам нужны в индексе а какие нет
Цитата
xmediasoft.ru пишет:
Цитата
Николай пишет:
сайт.ру и сайт.ру/index.php

это очень плохо, т.к. получатся две одинаковых страницы (1:1) с разными адресами , срочно нужно исправлять, т.е. оставить одну - лучше: сайт.ру, это можно сделать, взависимости от движка, URLRewrite-ом - доп. модуль, есть для всех CMS и даже серверов

а если я напишу Disallow: /index.php разве она (домен.ру/index.php) будет индексироваться?
Страницы: 1 2 3 4 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:48 Переход на новый домен 301 редирект 
10:21 Вывод с адсенса на банк. счёт 
10:18 Гугл выдаёт другой титл 
10:04 Сайту 4 месяца, нет посещаемости что делаю не так? 
09:42 Ошибки html 
09:12 Зависимость позиций в выдаче от директа 
08:09 Апдейт 30.09.16 
12:27 Заплачу уником за работу над сайтом/прогончик 
11:46 Продвижение сайта, как часто делать прогоны? 
11:42 Продажа хрумер палладиум. Дешево. 
11:12 Продвижение сайтов «прогоны xrumer, статейный» большой выбор тарифов 
10:45 Продвижение YouTube. Дешевые просмотры. Гарантия 
07:07 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 
04:15 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
12:59 9 лет СУПР'у 
12:49 Реклама в браузерах, надоело! Как избавиться? 
12:28 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
10:10 ZerocooL 
10:07 Хороший, добрый фильм о мужиках! 
09:25 Нужен баннер для популяризации раздела "Интересные темы" (безвозмездно) 
09:20 Nintendo вновь запустит в продажу оригинальную приставку Dendy