Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Страницы: 1
Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Доброго времени суток. Наблюдаю странную ситуацию. Вчера добавил новый сайт в панель вебмастера гугла, после загрузки карты сайта (sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt. Ругается на все адреса, что указаны в карте, как будто сайт полностью заблокирован.

Вот мой robots.txt:




User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.ru

Sitemap: http://site.ru/sitemap.xml




Как видите, сайт полностью открыт для сканирования. Ну и чего ему не нравится?!  
А разве вместо Disallow:   не allow: \ надо ставить?=)
Darksnow, команды allow в принципе не существует, разрешающая директива как бы по умолчанию на всё к чему есть доступ.



desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt
Цитата
Darksnow пишет:
А разве вместо Disallow: не allow: \ надо ставить?=)

Откуда Вы это взяли? При составлении robots.txt я использовал информацию из панели вебмастера яндекса - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

цитирую:


Цитата

User-agent: Yandex


Disallow: # то же, что и Allow: /





User-agent: Yandex


Allow: # то же, что и Disallow: /


Цитата
desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt

когда проверяю урлы на доступность в разделе "Инструмент проверки файла robots.txt" пишет "ДОСТУПЕН", а в разделе "Файлы Sitemap" пишет что все урлы закрыты в robots.txt
Изменено: desertFox - 18 Июня 2015 18:24
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.
Цитата
Tip4ik пишет:
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

вы повторяете мои слова, внимательнее читайте мои комментарии ))



Цитата
Ксана Лем пишет:
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.


какие ещё плагины?!)) у меня самопис, сам его сделал, есть ещё три аналогичных самописа - никаких проблем с картой сайта не возникало




Цитата
Sasha Minsky пишет:
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.

вот и я думаю что глюк какой-то, но всё равно беспокоюсь, на гугле на форуме задал этот же вопрос, у меня только попросили дать ссылку на сайт и пока тишина, пока никто объяснил почему эти предупреждения появились, а роботс настроен нормально ибо подобный уже используется на трёх сайтах более 2-х лет и никаких проблем

сейчас наблюдаю, что страницы сайта потихоньку начали входить в индекс, всего сутки прошли, специально сам в индекс не загонял, просто интересно стало повлияют ли эти глюченные предупреждения на индексацию или нет, ну вроде пока не влияют 
Tip4ik,  desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____ 
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.
Цитата
Feanorr пишет:
Tip4ik, desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.

всё нормально, я понял))

похоже точно глюк, надеюсь он пропадёт, вроде индексации страниц не мешает, мой robots.txt составлен нормально уверен на 100%
сегодня половину страниц попало в индекс и сообщение о заблокированных URL в файле robots.txt само пропало
тему можно закрывать
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:04 Сервисы и ПО для накрутки ПФ 
14:00 Партнерская программа OWNR WALLET 
13:55 "Яндекс" работает над отечественным аналогом нейросети ChatGPT 
13:52 Первый Апдейт в крайний месяц зимы / 01.02.23 Яндекс выдача 
13:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
09:48 FriendsPartners партнерская программа по Гемблингу 
00:07 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram 
14:02 BestChange – обменивать электронную валюту можно быстро и выгодно 
12:48 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 19.0.15 
11:39 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
11:16 Ural-obmen.ru — выгодный сервис обмена 
10:46 ExBaza.com - Сервис обмена криптовалют 
22:09 База логинов Телеграм для рассылки и инвайта. ЦА - Cтавки на спорт 4000 логинов 
21:46 Hotspot Switch IP - Меняй IP полностью бесплатно! 
14:00 Microsoft заставит пользователей обновить Windows 11 
12:15 "Яндекс Маркет" начал выкупать у россиян ношеную одежду и обувь 
12:11 Помогите придумать самый интересный вопрос 
07:22 Николай Дроздов раскрыл причину, по которой переломал ребра: "Последствия моей вегетарианской жизни" 
20:44 Платформа АНТИСТАВОК - ставки на события с обратным исходом! 
20:34 150+ хакерских поисковых систем и инструментов 
19:25 МyLead дает советы по продвижению