Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Страницы: 1
Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Доброго времени суток. Наблюдаю странную ситуацию. Вчера добавил новый сайт в панель вебмастера гугла, после загрузки карты сайта (sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt. Ругается на все адреса, что указаны в карте, как будто сайт полностью заблокирован.

Вот мой robots.txt:




User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.ru

Sitemap: http://site.ru/sitemap.xml




Как видите, сайт полностью открыт для сканирования. Ну и чего ему не нравится?!  
А разве вместо Disallow:   не allow: \ надо ставить?=)
Darksnow, команды allow в принципе не существует, разрешающая директива как бы по умолчанию на всё к чему есть доступ.



desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt
Цитата
Darksnow пишет:
А разве вместо Disallow: не allow: \ надо ставить?=)

Откуда Вы это взяли? При составлении robots.txt я использовал информацию из панели вебмастера яндекса - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

цитирую:


Цитата

User-agent: Yandex


Disallow: # то же, что и Allow: /





User-agent: Yandex


Allow: # то же, что и Disallow: /


Цитата
desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt

когда проверяю урлы на доступность в разделе "Инструмент проверки файла robots.txt" пишет "ДОСТУПЕН", а в разделе "Файлы Sitemap" пишет что все урлы закрыты в robots.txt
Изменено: desertFox - 18 Июня 2015 18:24
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.
Цитата
Tip4ik пишет:
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

вы повторяете мои слова, внимательнее читайте мои комментарии ))



Цитата
Ксана Лем пишет:
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.


какие ещё плагины?!)) у меня самопис, сам его сделал, есть ещё три аналогичных самописа - никаких проблем с картой сайта не возникало




Цитата
Sasha Minsky пишет:
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.

вот и я думаю что глюк какой-то, но всё равно беспокоюсь, на гугле на форуме задал этот же вопрос, у меня только попросили дать ссылку на сайт и пока тишина, пока никто объяснил почему эти предупреждения появились, а роботс настроен нормально ибо подобный уже используется на трёх сайтах более 2-х лет и никаких проблем

сейчас наблюдаю, что страницы сайта потихоньку начали входить в индекс, всего сутки прошли, специально сам в индекс не загонял, просто интересно стало повлияют ли эти глюченные предупреждения на индексацию или нет, ну вроде пока не влияют 
Tip4ik,  desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____ 
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.
Цитата
Feanorr пишет:
Tip4ik, desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.

всё нормально, я понял))

похоже точно глюк, надеюсь он пропадёт, вроде индексации страниц не мешает, мой robots.txt составлен нормально уверен на 100%
сегодня половину страниц попало в индекс и сообщение о заблокированных URL в файле robots.txt само пропало
тему можно закрывать
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Какую выбрать тему/нишу для сайта? 
19:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки 
15:45 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 
22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:11 Обменник криптовалюты OnlyCrypto 
17:56 Услуга: Поведенческие факторы (ПФ) для Авито 
17:31 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
16:51 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
20:17 Точные прогнозы на футбол 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир...