Баг с robots.txt. Я в шоке...
Страницы: 1
Баг с robots.txt. Я в шоке...
Сегодня с утра открываю метрику, смотрю посещаемость одного из сайтов. Проект молоденький, всего пару месяцев. Всего около 50-60 посетителей в сутки. Сегодня посещаемость равна нулю.
Открываю webmaster.yandex.ru и перехожу в раздел "Исключёные страницы / По типу" и что вижу:

Рисунок


При этом, с robots.txt всё в порядке:



Код
User-agent: Yandex
Disallow: /page
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php
Host: site

User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php

Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
- Что делать в этой ситуации? - Могло ли это быть как-то связано с тем, что сайт переносится на другой хостинг? - Могло ли как-то сказаться то, что на всех поддоменах сайта (всего их 3) в robots.txt запрещена индексация (Disallow: /)
Продать сайт за дорого или купить прибыльный проект можно здесь
Во первых:
Цитата
abc000 пишет:
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
На сколько я знаю это не правильно.

Нужно так:

Sitemap: http://site/sitemap.xml


Во вторых:

Весь роботс я бы прописал так.


User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments

Host: site

Sitemap: http://site/sitemap.xml
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Отправил письмо Яндексоидам, думаю начнут говорить мол "Когда робот посещал сайт, в Robots.txt была запрещающая деректива", но этого быть не может...
Цитата
abc000 пишет:
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Вы невнимательно читали.

Директива User-Agent: * игнорируется  в случаях,  когда описана директива для конкретного бота Yandex, в противном случае директива выполняется.
Изменено: Злой Админ - 1 Сентября 2012 06:56
Вот сегодня тоже такой глюк заметил, заходу в ЯВМ а там показывает страницы запрещенные в роботс.тхт, в частности профили пользователей... Странно...
Евгений, да уж. Косячат сами Яндексоиды, а мне сейчас голову ломать что случилось...
извиняюсь что вклиниваюсь  в тему к автору то есть такой robots.txt неверен?

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть

Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.

Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
glush1991 пишет:
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.
Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
А если так?
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap:site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
А я что сказал? Кратко говоря ВСЕ ЗАШЕБИСЬ:D
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Цитата
Алексей пишет:
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Понятно, спасибо посмотрю что будет дальше. Если какой-то баг временный то наверное через 1-2 апа залезет обратно в индекс smile:confused:
Аналогично было весной. Писал Платону, после двух апдейтов, предупреждение исчезло, страницы появились.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
05:30 CoinCapital  
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?