А разве вместо Disallow:   не allow: \ надо ставить?=)

Цитата
Darksnow пишет: А разве вместо Disallow: не allow: \ надо ставить?=)

Откуда Вы это взяли? При составлении robots.txt я использовал информацию из панели вебмастера яндекса - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

цитирую:

Цитата
User-agent: Yandex Disallow: # то же, что и Allow: / User-agent: Yandex Allow: # то же, что и Disallow: /

Цитата
desertFox, может глюк, а может лишние непечатные символы распознал... уберите "Disallow:" вообще и посмотрите что скажет валидатор robots.txt

когда проверяю урлы на доступность в разделе "Инструмент проверки файла robots.txt" пишет "ДОСТУПЕН", а в разделе "Файлы Sitemap" пишет что все урлы закрыты в robots.txt

Цитата
desertFox пишет: после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt.

Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.

Цитата
Tip4ik пишет: desertFox, Feanorr, почитайте для информации: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow

вы повторяете мои слова, внимательнее читайте мои комментарии ))

Цитата

Ксана Лем пишет: Цитата desertFox пишет: после загрузки карты сайта (www.google.com/url?q=http%3A%2F%2Fsite.ru%2Fsitemap.xml&sa=D&sntz=1&usg=AFQjCNF7ABjEWvLH3ey4VmSMr9JRpPxpMg]sitemap.xml) появились предупреждение - Доступ к URL заблокирован в файле robots.txt. Плагин WordPress SEO by Yoast иногда конфликтует с картой сайта. Нет такого? Если есть, проверьте настройки или вообще попробуйте заменить другим.

какие ещё плагины?!)) у меня самопис, сам его сделал, есть ещё три аналогичных самописа - никаких проблем с картой сайта не возникало

Цитата
Sasha Minsky пишет: Пройдет за пару дней, это просто левый текст про роботс выводится не в тему, у меня точно так же было с новым сайтом. Беспокоиться не о чем.

вот и я думаю что глюк какой-то, но всё равно беспокоюсь, на гугле на форуме задал этот же вопрос, у меня только попросили дать ссылку на сайт и пока тишина, пока никто объяснил почему эти предупреждения появились, а роботс настроен нормально ибо подобный уже используется на трёх сайтах более 2-х лет и никаких проблем

сейчас наблюдаю, что страницы сайта потихоньку начали входить в индекс, всего сутки прошли, специально сам в индекс не загонял, просто интересно стало повлияют ли эти глюченные предупреждения на индексацию или нет, ну вроде пока не влияют 

Цитата
Feanorr пишет: Tip4ik, desertFox, по поводу Allow виноват... когда-то давно её не учитывали ни Яндекс ни Google, сейчас же директива понимается практически всеми роботами. Пруф: http://robotstxt.org.ru/robotstxterrors#Allow____ В принципе, это надо сильно извратится над структурой, чтобы пришлось allow использовать, ни разу на практике не писал так.

всё нормально, я понял))

похоже точно глюк, надеюсь он пропадёт, вроде индексации страниц не мешает, мой robots.txt составлен нормально уверен на 100%