robots.txt ругается

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 15:55

Здравствуйте.Есть совсем новый сайт. Платформа Wordpress. Для создания sitemap использую плагин Google XML Sitemap.
В robots.txt нету ничего запрещающего.

Код
User-agent: * Host: vkusnosnami.com Sitemap: vkusnosnami.com/sitemap.xml

И вот, в разделе "Файлы Sitemap" в инструментах веб мастера гугл такая картина
Рисунок

Причем если кликать по самому файлу (/sitemap, где цифра 1 стоит с красным кругом), то кидает на адрес www.vkusnosnami.com/sitemap.xml где нету этого файла.. Но если www убрать то он есть.
Подскажите пожалуйста, что это за 572 ошибок, как их убрать, что я неправильно делаю?

Изменено: NTs - 9 Января 2015 15:56

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

9 Января 2015 16:59

пропишите путь к файлу сайтмап в роботсе через http

50 т.р. в месяц на киносайте РЕГИСТРАЦИЯ - обучаю рефералов, в ЛС

Лучшая партнерка - 25 т.р. в месяц РЕГИСТРАЦИЯ

Качественные дешевые статьи КУПИТЬ

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:04

Цитата
Влад Мищенко пишет: пропишите путь к файлу сайтмап в роботсе через http

Спасибо за ответ. Так и прописано, с просто визуальный редактор здесь не добавил его.Думал настроить редирект, написал в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Никак не помогло, опять же по адресу www.vkusnosnami.com/sitemap.xml к карте не достучишься...

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:05

http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:08

Цитата
sharkson пишет: http и www склеены? если нет - склейте. и укажите главным зеркалом один из вариантов. а второй - неглавным.

В инструментах вебмастера гугла добавил в качестве главного БЕЗ www. И пытался склеить (код можете увидеть сообщением выше), может что то не так в коде? После склеивания же по любому должна показываться sitemap из non-www версии даже если в запросе есть www? Или я не так понимаю алгоритм склеивания?

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 17:11

вы в хтаксесс добавили не склейку, а редирект. зеркала указываются в вебмастере.

в роботсе только 3 строки:

Цитата
User-agent: * Host: vkusnosnami.com Sitemap: http://vkusnosnami.com/sitemap.xml

чую, будет много-много проблем.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:12

И вопрос один, для www и non-www отдельные файлы robots.txt? Мне так показалось, потому что когда открываю сайт с www. в гугл вебмастерс, там показывает что некоторые ссылки из sitemap заблокированы robots.txt, а без www - все хорошо, никто ничего не блокирует.

NTs

Сообщений: 19 Регистрация: Янв 2015

9 Января 2015 17:30

sharkson, Запутался я совсем)
Добавил robots.txt нормальный, он выглядит так

Код

User-agent: *
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/
Allow: */uploads 
Allow: */author
Sitemap: vkusnosnami.com/sitemap.xml
Host: vkusnosnami.com

Цитата
вы в хтаксесс добавили не склейку

Подскажите, пожалуйста, а то что я сделал с хтаксесс нужно или нет? Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

sharkson

Сообщений: 5425 Регистрация: Янв 2014

9 Января 2015 18:06

Цитата
NTs пишет: Мне просто нужно, что бы гугл индексовал страницу без www, так как продвигать его буду без www.

Укажите название сайта http://site.ru главным зеркалом в вебмастере. C www т.е. www.site.ru - неглавным - там же.
В хтаксесс сделайте редирект с www.site.ru на http://site.ru.
Почитайте про настройку зеркал и роботса в разделе помощь Яндекса. Для гугла правила роботса и пр. - такие же.
_http://help.yandex.ru/webmaster/indexing-options/robots-txt-analyzer.xml
_http://help.yandex.ru/webmaster/indexing-options/main-mirror.xml

Всё. Потом только ждать. Яшка с зеркалами разбирается за 1-2 недели обычно. Гошка - не знаю, не отслеживал.

Цитата
И вопрос один, для www и non-www отдельные файлы robots.txt?

Нет. Один роботс для всего.

Изменено: sharkson - 9 Января 2015 18:10

NTs

Сообщений: 19 Регистрация: Янв 2015

#10

9 Января 2015 18:32

sharkson, Спасибо, все сделал. Ошибок теперь 0. В гугл вебмастерс с обоих сайтов (с www и без) поставил на основную без www

В Яндексе тоже поставил без www.
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Код
RewriteEngine On RewriteCond %{HTTP_HOST} ^www\.vkusnosnami\.com$ [NC] RewriteCond %{REQUEST_URI} !^/robots.* RewriteRule ^(.*)$ vkusnosnami.com/$1 [R=301,L]

Если это не страшно, или так и должно быть - вопросов больше нет smile:)

sharkson

Сообщений: 5425 Регистрация: Янв 2014

#11

9 Января 2015 18:41

Цитата
NTs пишет: www.vkusnosnami.com/sitemap.xml

Выже с http:// собираетесь продвигать и ссылки на него вам нужны? В роботсе указан путь к сайтмэпу с http://? Файл открывается? Гугл и Яшка не ругаются на проблемы с сайтмэпом или роботсом?
Если везде - да, забейте вы на www.

Прочитайте тут как правильно указывать директиву сайтмэп _http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Пример:

Цитата
User-agent: Yandex Allow: / Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml

Цитата
Единственное что смущает, это то, что по адресу www.vkusnosnami.com/sitemap.xml не показывает sitemap даже после редиректа в htaccess

Вы редирект настроили? Так он и редиректит на http. Зачем вы танцуете вокруг www?

Изменено: sharkson - 9 Января 2015 18:45

NTs Сообщений: 19 Регистрация: Янв 2015	#12 9 Января 2015 18:49 sharkson, Танцую, потому что думаю это не правильно, так как опыта нет) Спасибо.

Похожие темы:

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 08:12 ру гембла 09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче	10:25 AllCharge.online. Современный, быстрый и надёжный обменник 10:19 Prism-exchange.io - сервис обмена: криптовалюты, банки РФ, Zelle, наличные USD (Москва, Нью-Йорк) 04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:43 Обменный пункт cashalot.one. Выгодный обмен. 15:30 EGB Affiliates – Зарабатывайте на киберспорте, спорте и казино! 11:52 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 10:06 Услуга чертежника и 3D моделирования	12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 23:51 Всего п онемногу 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...