Вопрос по robots.txt

Вопрос по robots.txt, Почему оказались архивы открыты

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 11:58

Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка? Подскажите, плиз. smile:help:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: zverushca.ru
Sitemap: http://zverushca.ru/sitemap.xml.gz
Sitemap: http://zverushca.ru/sitemap.xml

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 12:21

И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:30

Цитата
margo пишет: Вопрос в следующем. Я считала что у меня архивы закрыты, сейчас в вэбмастере проверяю страницу, вношу URL архивов и вижу что они разрешены для индексации. Вот мой robots.txt. Где ошибка?

Зависит от вида урлов сайта. Например, если у вас урлы ЧПУ, то такой robots.txt архивы не закроет.
Вот строчки закрытия архивов, соответственно, по тегам, авторам, дате, страницам:

Disallow: /tags/
Disallow: /author/
Disallow: /2012/
Disallow: /page/

Если сайт существавал до нового года, то дополнительно добавить еще и строчку

Disallow: /2011/

Redrik

Сообщений: 18 Регистрация: Авг 2011

24 Января 2012 12:43

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Карта сайта для поисковиков носит рекомендательный характер, подсказывает приоритеты в индексации сайта, что важнее, что нет. Карта сайта индексацию не закрывает.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 18:03

Цитата

Redrik пишет:

Цитата
margo пишет: И еще, если в карте сайта закрыты рубрики, а оставлены только статьи, но роботсом рубрики не закрыты, будет он их индексировать или нет?

Спасибо, теперь все ясно.

margo

Сообщений: 657 Регистрация: Дек 2011

24 Января 2012 21:19

Караул! Закрываю в robots.txt. категории, а они упорно открыты для индексации. По идее ссылка в категории должна выглядеть вот так http://название сайта/category/рубрика/ А у меня в ссылке не отражается /category/ Я так подозреваю, что это из-за этого, но как и где это можно исправить не знаю. П smile:help:

одскажите, плиз

margo

Сообщений: 657 Регистрация: Дек 2011

27 Января 2012 13:18

Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:02

А у Вас вордпресс?
Админ панель - Параметры - Постоянные ссылки.

Поставьте галочку на " Название записи".
И так будет лучше.

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Января 2012 14:03

Цитата
margo пишет: Пыталась сегодня проверить с помощью валидатора микроразметки страницы на сайте, выдает - микроразметка не обнаружена =( И с чем это может быть связано?

Может быть с тем что микроразметка слишком крута для понимания Яндексом?
Или, скорее всего - её нет?
Исчезла?
Испарилась?
Улетела, убежала, обиделась, плохо себя вела, или ещё что нибудь.
Не знаю - Это может быть связано только с тем что она не обнаружена.

margo

Сообщений: 657 Регистрация: Дек 2011

#10

27 Января 2012 14:06

Марьян Пильчак, smile:mocking:

хи-хи, но раньше то она была видна и все он видел, а после того как я роботс переделала ничего не видит smile:eek:

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

#11

27 Января 2012 14:10

Врятли это связано с роботсом.
Удалите роботс и гляньте ещё раз - в таком уж случае.
Если действительно в нем проблема - отпишитесь Платонам.

margo Сообщений: 657 Регистрация: Дек 2011	#12 30 Января 2012 23:10 Что закрывает запись Disallow: /wp-content/cache в файле robots ?Стал постоянно срабатывать плагин и указывает что ссылка не работает Отчёт о проверке : === HTTP code : 403 === HTTP/1.1 403 Forbidden Date: Mon, 30 Jan 2012 18:52:08 GMT Server: LiteSpeed Connection: Keep-Alive Keep-Alive: timeout=5, max=100 Cache-Control: private, no-cache, max-age=0 Pragma: no-cache Content-Type: text/html Content-Length: 380 Ссылка не работает. Оказалась завалена неправильными ссылками, как это исправить?

Похожие темы:

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
15:35 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 14:07 AI под надзором. Минцифры готовят клеймо для контента 00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 23:11 APK на паузе. Google убивает быстрый конверт 16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:09 А+ в MAX: Квитанция на получение денег	15:49 Европейский эквайринг 13:23 Trustpilot Reviews \| Подниму рейтинг вашей компании 13:22 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 13:22 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 13:21 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 10:25 Мониторинг обменников Сrypto-scout.io 08:28 Monitex: Мониторинг с кэшбэком 80% в USDT	15:58 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 15:31 Панель Кнопки соцсетей 15:29 С юмором по жизни! 15:26 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:04 молодильные яблоки и живая вода 06:03 Точные прогнозы на футбол 15:29 Компьютерная мышь