Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Страницы: 1
Глюк в гугл-вебмастере Доступ к URL заблокирован в файле robots.txt.
Доброго времени суток. Наблюдаю странную ситуацию. Вчера добавил новый сайт в панель вебмастера гугла, после загрузки карты сайта (sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt. Ругается на все адреса, что указаны в карте, как будто сайт полностью заблокирован.

Вот мой robots.txt:




User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.ru

Sitemap: http://site.ru/sitemap.xml




Как видите, сайт полностью открыт для сканирования. Ну и чего ему не нравится?!  
А разве вместо Disallow:   не allow: \ надо ставить?=)
Darksnow, команды allow в принципе не существует, разрешающая директива как бы по умолчанию на всё к чему есть доступ.



desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt
Цитата
Darksnow пишет:
А разве вместо Disallow: не allow: \ надо ставить?=)

Откуда Вы это взяли? При составлении robots.txt я использовал информацию из панели вебмастера яндекса - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

цитирую:


Цитата

User-agent: Yandex


Disallow: # то же, что и Allow: /





User-agent: Yandex


Allow: # то же, что и Disallow: /


Цитата
desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt

когда проверяю урлы на доступность в разделе "Инструмент проверки файла robots.txt" пишет "ДОСТУПЕН", а в разделе "Файлы Sitemap" пишет что все урлы закрыты в robots.txt
Изменено: desertFox - 18 Июня 2015 18:24
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.
Цитата
Tip4ik пишет:
desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

вы повторяете мои слова, внимательнее читайте мои комментарии ))



Цитата
Ксана Лем пишет:
Цитата
desertFox пишет:
после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.
Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.


какие ещё плагины?!)) у меня самопис, сам его сделал, есть ещё три аналогичных самописа - никаких проблем с картой сайта не возникало




Цитата
Sasha Minsky пишет:
Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.

вот и я думаю что глюк какой-то, но всё равно беспокоюсь, на гугле на форуме задал этот же вопрос, у меня только попросили дать ссылку на сайт и пока тишина, пока никто объяснил почему эти предупреждения появились, а роботс настроен нормально ибо подобный уже используется на трёх сайтах более 2-х лет и никаких проблем

сейчас наблюдаю, что страницы сайта потихоньку начали входить в индекс, всего сутки прошли, специально сам в индекс не загонял, просто интересно стало повлияют ли эти глюченные предупреждения на индексацию или нет, ну вроде пока не влияют 
Tip4ik,  desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____ 
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.
Цитата
Feanorr пишет:
Tip4ik, desertFox, по поводу Allow виноват...smile:confused: когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____
В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.

всё нормально, я понял))

похоже точно глюк, надеюсь он пропадёт, вроде индексации страниц не мешает, мой robots.txt составлен нормально уверен на 100%
сегодня половину страниц попало в индекс и сообщение о заблокированных URL в файле robots.txt само пропало
тему можно закрывать
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:40 Вопросы по продвижению на поддоменах 
19:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:37 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
13:20 Партнерская программа OWNR WALLET 
13:20 Через пару дней: Google удалит аккаунты в Gmail, «Фото», «Диске», и «Календаре». Как защититься? 
06:14 host: 
19:00 Индексация Телеги 
14:13 Publify.live- автоматическое копирования контента с TikTok, Twitter, Telegram в ваши Telegram каналы 
12:48 BestChange – обменивать электронную валюту можно быстро и выгодно 
11:16 Автор по покеру и онлайн-казино. 
10:42 Ural-obmen.ru — выгодный сервис обмена 
10:33 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
10:05 CryptoScan.one - Принимайте USDT TRC-20 на свой личный счет 
02:59 Cogotini.com - накрутка ютуб, instagram, tiktok, facebook, telegram, yandex. zen - Накрутить на коготини 
18:40 Ещё 12 заявлений в полицию о мошенничестве подано на блогера Аяза Шабутдинова 
13:16 ИИ Google поставил под сомнение подлинность фотографий высадки астронавтов США на Луну 
18:56 Точные прогнозы на футбол 
17:33 Стряхнуть обыденность - об Агасфере 
00:03 Кабмин разрешил Роскомнадзору блокировать сайты с методами обхода блокировок 
14:55 150+ хакерских поисковых систем и инструментов 
23:03 С юмором по жизни!