Вопрос по robots.txt

Вопрос по robots.txt, Почему оказались архивы открыты

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 11:58

Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка? Подскажите, плиз. smile:help:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: zverushca.ru
Sitemap: http://zverushca.ru/sitemap.xml.gz
Sitemap: http://zverushca.ru/sitemap.xml

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 12:21

И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:30

Цитата
margo пишет: Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка?

Зависит от вида урлов сайта. Например, если у вас урлы ЧПУ, то такой robots.txt архивы не закроет.
Вот строчки закрытия архивов, соответственно, по тегам, авторам, дате, страницам:

Disallow: /tags/
Disallow: /author/
Disallow: /2012/
Disallow: /page/

Если сайт существавал до нового года, то дополнительно добавить еще и строчку

Disallow: /2011/

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:43

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Карта сайта для поисковиков носит рекомендательный характер, подсказывает приоритеты в индексации сайта, что важнее, что нет. Карта сайта индексацию не закрывает.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 18:03

Цитата

Redrik пишет:

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Спасибо, теперь все ясно.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 21:19

Караул! Закрываю в robots.txt. категории, а они упорно открыты для индексации. По идее ссылка в категории должна выглядеть вот так http://название сайта/category/рубрика/ А у меня в ссылке не отражается /category/ Я так подозреваю, что это из-за этого, но как и где это можно исправить не знаю. П smile:help:

одскажите, плиз

margo

Сообщений: 657 Регистрация: Дек 2011

27 Января 2012 13:18

Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:02

А у Вас вордпресс?
Админ панель - Параметры - Постоянные ссылки.

Поставьте галочку на " Название записи".
И так будет лучше.

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:03

Цитата
margo пишет: Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Может быть с тем что микроразметка слишком крута для понимания Яндексом?
Или, скорее всего - её нет?
Исчезла?
Испарилась?
Улетела, убежала, обиделась, плохо себя вела, или ещё что нибудь.
Не знаю - Это может быть связано только с тем что она не обнаружена.

margo

Сообщений: 657 Регистрация: Дек 2011

#10

27 Января 2012 14:06

Марьян Пильчак, smile:mocking:

хи-хи, но раньше то она была видна и все он видел, а после того как я роботс переделала ничего не видит smile:eek:

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

#11

27 Января 2012 14:10

Врятли это связано с роботсом.
Удалите роботс и гляньте ещё раз - в таком уж случае.
Если действительно в нем проблема - отпишитесь Платонам.

margo Сообщений: 657 Регистрация: Дек 2011	#12 30 Января 2012 23:10 Что закрывает запись Disallow: /wp-content/cache в файле robots ?Стал постоянно срабатывать плагин и указывает что ссылка не работает Отчёт о проверке : === HTTP code : 403 === HTTP/1.1 403 Forbidden Date: Mon, 30 Jan 2012 18:52:08 GMT Server: LiteSpeed Connection: Keep-Alive Keep-Alive: timeout=5, max=100 Cache-Control: private, no-cache, max-age=0 Pragma: no-cache Content-Type: text/html Content-Length: 380 Ссылка не работает. Оказалась завалена неправильными ссылками, как это исправить?

Похожие темы:

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
07:01 SEO под нейро 06:41 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 06:33 Индексирование страниц в Яндексе 00:11 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 23:34 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 23:32 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 23:26 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	06:48 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:54 GoodsMoney.io 23:51 Volna.money 20:20 Mixmasters - Exchange without AML and KYC 17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 16:49 Nexulume.com Обменник без AML и KYC 15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.	05:31 Точные прогнозы на футбол 23:37 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 23:30 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 23:21 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 19:06 Отвратительное поведение 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...