robots.txt ругается

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 15:55

Здравствуйте.Есть совсем новый сайт. Платформа Wordpress. Для создания sitemap использую плагин Google XML Sitemap.
В robots.txt нету ничего запрещающего.

Код
User-agent: * Host: vkusnosnami.com Sitemap: vkusnosnami.com/sitemap.xml

И вот, в разделе "Файлы Sitemap" в инструментах веб мастера гугл такая картина
Рисунок

Причем если кликать по самому файлу (/sitemap, где цифра 1 стоит с красным кругом), то кидает на адрес www.vkusnosnami.com/sitemap.xml где нету этого файла.. Но если www убрать то он есть.
Подскажите пожалуйста, что это за 572 ошибок, как их убрать, что я неправильно делаю?

Изменено: NTs - 9 Января 2015 15:56

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

9 Января 2015 16:59

пропишите путь к файлу сайтмап в роботсе через http

50 т.р. в месяц на киносайте РЕГИСТРАЦИЯ - обучаю рефералов, в ЛС

Лучшая партнерка - 25 т.р. в месяц РЕГИСТРАЦИЯ

Качественные дешевые статьи КУПИТЬ

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:04

Цитата
Влад Мищенко пишет: пропишите путь к файлу сайтмап в роботсе через http

Спасибо за ответ. Так и прописано, с просто визуальный редактор здесь не добавил его.Думал настроить редирект, написал в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Никак не помогло, опять же по адресу www.vkusnosnami.com/sitemap.xml к карте не достучишься...

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:05

http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:08

Цитата
sharkson пишет: http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

В инструментах вебмастера гугла добавил в качестве главного БЕЗ www. И пытался склеить (код можете увидеть сообщением выше), может что то не так в коде? После склеивания же по любому должна показываться sitemap из non-www версии даже если в запросе есть www? Или я не так понимаю алгоритм склеивания?

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:11

вы в хтаксесс добавили не склейку, а редирект. зеркала указываются в вебмастере.

в роботсе только 3 строки:

Цитата
User-agent: * Host: vkusnosnami.com Sitemap: http://vkusnosnami.com/sitemap.xml

чую, будет много-много проблем.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:12

И вопрос один, для www и non-www отдельные файлы robots.txt? Мне так показалось, потому что когда открываю сайт с www. в гугл вебмастерс, там показывает что некоторые ссылки из sitemap заблокированы robots.txt, а без www - все хорошо, никто ничего не блокирует.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:30

sharkson, Запутался я совсем)
Добавил robots.txt нормальный, он выглядит так

Код

User-agent: *
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/
Allow: */uploads 
Allow: */author
Sitemap: vkusnosnami.com/sitemap.xml
Host: vkusnosnami.com

Цитата
вы в хтаксесс добавили не склейку

Подскажите, пожалуйста, а то что я сделал с хтаксесс нужно или нет? Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 18:06

Цитата
NTs пишет: Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

Укажите название сайта http://site.ru главным зеркалом в вебмастере. C www т.е. www.site.ru - неглавным - там же.
В хтаксесс сделайте редирект с www.site.ru на http://site.ru.
Почитайте про настройку зеркал и роботса в разделе помощь Яндекса. Для гугла правила роботса и пр. - такие же.
_http://help.yandex.ru/webmaster/indexing-options/robots-txt-analyzer.xml
_http://help.yandex.ru/webmaster/indexing-options/main-mirror.xml

Всё. Потом только ждать. Яшка с зеркалами разбирается за 1-2 недели обычно. Гошка - не знаю, не отслеживал.

Цитата
И вопрос один, для www и non-www отдельные файлы robots.txt?

Нет. Один роботс для всего.

Изменено: sharkson - 9 Января 2015 18:10

NTs

Сообщений: 19 Регистрация: Янв 2015

#10

9 Января 2015 18:32

sharkson, Спасибо, все сделал. Ошибок теперь 0. В гугл вебмастерс с обоих сайтов (с www и без) поставил на основную без www

В Яндексе тоже поставил без www.
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Если это не страшно, или так и должно быть - вопросов больше нет smile:)

sharkson

Сообщений: 5425 Регистрация: Янв 2014

#11

9 Января 2015 18:41

Цитата
NTs пишет: www.vkusnosnami.com/sitemap.xml

Выже с http:// собираетесь продвигать и ссылки на него вам нужны? В роботсе указан путь к сайтмэпу с http://? Файл открывается? Гугл и Яшка не ругаются на проблемы с сайтмэпом или роботсом?
Если везде - да, забейте вы на www.

Прочитайте тут как правильно указывать директиву сайтмэп _http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Пример:

Цитата
User-agent: Yandex Allow: / Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml

Цитата
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Вы редирект настроили? Так он и редиректит на http. Зачем вы танцуете вокруг www?

Изменено: sharkson - 9 Января 2015 18:45

NTs Сообщений: 19 Регистрация: Янв 2015	#12 9 Января 2015 18:49 sharkson, Танцую, потому что думаю это не правильно, так как опыта нет) Спасибо.

Похожие темы:

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
23:44 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 23:16 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 22:04 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 18:01 Раскрутка форума 13:23 Рост эффективности моего интернет‑магазина 21:08 Adsense личный опыт 18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?	18:25 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 13:48 Мониторинг обменников Сrypto-scout.io 13:42 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 11:55 Plata24: Быстрый обмен. Честный курс.  Полная безопасность.	22:45 С юмором по жизни! 22:32 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:57 молодильные яблоки и живая вода 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 22:06 Точные прогнозы на футбол 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 06:50 Ставки на супер тренды в спорте