Баг с robots.txt. Я в шоке...
Страницы: 1
Баг с robots.txt. Я в шоке...
Сегодня с утра открываю метрику, смотрю посещаемость одного из сайтов. Проект молоденький, всего пару месяцев. Всего около 50-60 посетителей в сутки. Сегодня посещаемость равна нулю.
Открываю webmaster.yandex.ru и перехожу в раздел "Исключёные страницы / По типу" и что вижу:

Рисунок


При этом, с robots.txt всё в порядке:



Код
User-agent: Yandex
Disallow: /page
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php
Host: site

User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.swf
Disallow: /*.js
Disallow: /*.css
Disallow: /*.php

Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
- Что делать в этой ситуации? - Могло ли это быть как-то связано с тем, что сайт переносится на другой хостинг? - Могло ли как-то сказаться то, что на всех поддоменах сайта (всего их 3) в robots.txt запрещена индексация (Disallow: /)
Продать сайт за дорого или купить прибыльный проект можно здесь
Во первых:
Цитата
abc000 пишет:
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>
На сколько я знаю это не правильно.

Нужно так:

Sitemap: http://site/sitemap.xml


Во вторых:

Весь роботс я бы прописал так.


User-agent: *
Disallow: /page/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments

Host: site

Sitemap: http://site/sitemap.xml
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Отправил письмо Яндексоидам, думаю начнут говорить мол "Когда робот посещал сайт, в Robots.txt была запрещающая деректива", но этого быть не может...
Цитата
abc000 пишет:
Magnus, такой код к ссылке это баг на форуме, у меня так и прописано http://site/sitemap.xml. User-Agent: * - согласно недавно обновлёным правилам не признаётся Яндексом (тут подробней)
Вы невнимательно читали.

Директива User-Agent: * игнорируется  в случаях,  когда описана директива для конкретного бота Yandex, в противном случае директива выполняется.
Изменено: Злой Админ - 1 Сентября 2012 06:56
Вот сегодня тоже такой глюк заметил, заходу в ЯВМ а там показывает страницы запрещенные в роботс.тхт, в частности профили пользователей... Странно...
Евгений, да уж. Косячат сами Яндексоиды, а мне сейчас голову ломать что случилось...
извиняюсь что вклиниваюсь  в тему к автору то есть такой robots.txt неверен?

User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть

Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.

Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Цитата
glush1991 пишет:
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
Почему не верен? Все нормально, просто яндекс не будет видеть
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
а все остально будет т.е.
Цитата
Иван Мирощенко пишет:
User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site.ru/sitemap.xml
А если так?
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap: site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Цитата
Иван Мирощенко пишет:
User-agent: *
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
Host: site.ru
sitemap:site .ru/sitemap.xml

User-Agent: Yandex
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?*
А я что сказал? Кратко говоря ВСЕ ЗАШЕБИСЬ:D
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Цитата
Алексей пишет:
В последнее время Яша частенько выкидывает такие чудеса. Был и у меня такой случай, но потом все прошло само, я ничего не делал)
Понятно, спасибо посмотрю что будет дальше. Если какой-то баг временный то наверное через 1-2 апа залезет обратно в индекс smile:confused:
Аналогично было весной. Писал Платону, после двух апдейтов, предупреждение исчезло, страницы появились.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:45 Всем привет! 
19:37 Xrumer-полезный софт или нет? 
17:26 AI под надзором. Минцифры готовят клеймо для контента 
17:23 APK на паузе. Google убивает быстрый конверт 
17:18 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
15:02 Слипание слов в блоке 
10:39 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
17:24 Обменный Сервис - Купец (Kupec.cc) 
15:52 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:06 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
14:06 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
14:06 Trustpilot Reviews | Подниму рейтинг вашей компании 
14:06 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
13:24 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
23:51 Точные прогнозы на футбол 
22:40 Сайты Рунета 
21:59 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
21:22 молодильные яблоки и живая вода 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:23 Панель Кнопки соцсетей 
14:03 Огородники