Вопрос по robots.txt

Вопрос по robots.txt, Почему оказались архивы открыты

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 11:58

Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка? Подскажите, плиз. smile:help:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: zverushca.ru
Sitemap: http://zverushca.ru/sitemap.xml.gz
Sitemap: http://zverushca.ru/sitemap.xml

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 12:21

И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:30

Цитата
margo пишет: Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка?

Зависит от вида урлов сайта. Например, если у вас урлы ЧПУ, то такой robots.txt архивы не закроет.
Вот строчки закрытия архивов, соответственно, по тегам, авторам, дате, страницам:

Disallow: /tags/
Disallow: /author/
Disallow: /2012/
Disallow: /page/

Если сайт существавал до нового года, то дополнительно добавить еще и строчку

Disallow: /2011/

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:43

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Карта сайта для поисковиков носит рекомендательный характер, подсказывает приоритеты в индексации сайта, что важнее, что нет. Карта сайта индексацию не закрывает.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 18:03

Цитата

Redrik пишет:

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Спасибо, теперь все ясно.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 21:19

Караул! Закрываю в robots.txt. категории, а они упорно открыты для индексации. По идее ссылка в категории должна выглядеть вот так http://название сайта/category/рубрика/ А у меня в ссылке не отражается /category/ Я так подозреваю, что это из-за этого, но как и где это можно исправить не знаю. П smile:help:

одскажите, плиз

margo

Сообщений: 657 Регистрация: Дек 2011

27 Января 2012 13:18

Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:02

А у Вас вордпресс?
Админ панель - Параметры - Постоянные ссылки.

Поставьте галочку на " Название записи".
И так будет лучше.

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:03

Цитата
margo пишет: Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Может быть с тем что микроразметка слишком крута для понимания Яндексом?
Или, скорее всего - её нет?
Исчезла?
Испарилась?
Улетела, убежала, обиделась, плохо себя вела, или ещё что нибудь.
Не знаю - Это может быть связано только с тем что она не обнаружена.

margo

Сообщений: 657 Регистрация: Дек 2011

#10

27 Января 2012 14:06

Марьян Пильчак, smile:mocking:

хи-хи, но раньше то она была видна и все он видел, а после того как я роботс переделала ничего не видит smile:eek:

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

#11

27 Января 2012 14:10

Врятли это связано с роботсом.
Удалите роботс и гляньте ещё раз - в таком уж случае.
Если действительно в нем проблема - отпишитесь Платонам.

margo Сообщений: 657 Регистрация: Дек 2011	#12 30 Января 2012 23:10 Что закрывает запись Disallow: /wp-content/cache в файле robots ?Стал постоянно срабатывать плагин и указывает что ссылка не работает Отчёт о проверке : === HTTP code : 403 === HTTP/1.1 403 Forbidden Date: Mon, 30 Jan 2012 18:52:08 GMT Server: LiteSpeed Connection: Keep-Alive Keep-Alive: timeout=5, max=100 Cache-Control: private, no-cache, max-age=0 Pragma: no-cache Content-Type: text/html Content-Length: 380 Ссылка не работает. Оказалась завалена неправильными ссылками, как это исправить?

Похожие темы:

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 05:30 CoinCapital 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:53 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 19:52 Trustpilot Reviews \| Подниму рейтинг вашей компании	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?