robots.txt для вордпресс - гугл, оживил затертую до смерти тему
Страницы: 1 2 След.
robots.txt для вордпресс - гугл, оживил затертую до смерти тему
Всем привет!В вебмастере гугла появился инструмент "Заблокированные ресурсы", где он стал более подробно изучать robots.txt
Теперь, в функции посмотреть как googlebot показывается 2 окна, как ивдит бот и как пользователь.

Итак с 1 февраля начался рост Заблокированных ресурсов и уже дошел до 300...

С 2012 года не трогал свой robots.txt, в котором было значение:


Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache 
Disallow: /wp-content/themes - запрет файлов темы.
Но теперь гугл недоволен, и вот его новая прихоть:  

Цитата

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.





Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Процетировал часть справки: вот полная версия https://support.google.com/webmasters/answer/6153277

Еще в далеком 2012 году, как щас помню настраивал свой robots.txt по запросу "Правильный роботс.тхт для вордпресс", сегодня повторил запрос. Но везде стоит запрет на индекс темы, на которую ругается гугл и не слово об этом. (даже в выдаче по результатам за последние 2 недели)

Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?
Порой мелочи, важнее общей картины.
https://dardar.ru - дари добро!
Цитата
Binker пишет:
Посмотрю, что будет. Что скажите дорогие друзья?
я думаю если бы гугл внес бы какието существенные изменения он бы оповестил всех своих пользователей об этом.
Это же не яндекс который все делает в тихаря
У меня такой же запрет стоит - Disallow: /wp-content/themes - запрет файлов темы.) 
Страницы с заблокированными ресурсами - 445. И если бы вы об этом не написали, я бы даже и не заметил)))

Цитата
Binker пишет:

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.
У меня не приходило подобных писем, пока что)

Цитата
Binker пишет:
Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.
Хотя гугл сам говорит, что позиции могут быть ниже) Не пойму, зачем в индексе нужен этот мусор?
Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

Новая биржа контента: цена = качество!
Цитата
Binker пишет:
Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?
Есть какие-то изменения? И если не секрет, какой у вас роботс был и какой теперь? У меня просто тоже WP и запреты стоят на эти файлы до сих пор...
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes . и сайт просел по нескольким позициям. думал совпадение, но после вашего поста усомнился. может быть Вы правы.
В общем при блокировки контента блокируются скрипты и графические файлы, что применимо к 21ому апреля не очень хорошо https://developers.google.com/webmasters/mobile-sites/mobile-seo/?hl=ru-RU&utm_source=MFT&utm_medium=incoming-link&utm_campaign=MFT
Цитата
matiaje пишет:
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes
А какой у вас сейчас роботс? Можете показать?
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes


Что из этого желательно открыть?
я у себя ещё архив закрыл, там куски текста есть которые хавает пс  сайт/author/admin/
Цитата
D-E-Z пишет:
я у себя ещё архив закрыл, там куски текста есть которые хавает пс сайт/author/admin/
А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...
Цитата
GdeProfit пишет:
Цитата
matiaje пишет:
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes
А какой у вас сейчас роботс? Можете показать?
пока вот такой

Код
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/



Помониторю немного. если будут проседать позиции, то вот это:

Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes


 буду исключать
Цитата
matiaje пишет:
Помониторю немного. если будут проседать позиции, то вот это:
Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes 


буду исключать


А гугл вебмастере ошибки выдает у вас, если эти папки закрыты в роботс как сейчас? У меня просто так же закрыто и 500 ошибок.
Код
Потерто
Изменено: Серж - 9 Апреля 2015 14:11
Ютуб канал Сделай сам
Дзен канал Сделай сам
500 дней
Паразитическая плесень когда-нибудь обязательно предъявит обвинение, что её не пускают в цветущий сад.
Цитата
GdeProfit пишет:
А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...

User-agent: *
Disallow: /go/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: *documents*
Disallow: /xmlrpc.php
Disallow: *author*
вот такой. Через вебмастер проверил, что нужно индексирует)
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:52 AviTool - мощный инструмент для автоматизации работы с Avito 
23:41 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:57 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
15:15 Adtrafico - Правильная партнёрская сеть под бурж трафик 
15:33 Партнерская программа OWNR WALLET 
13:24 Bropush - твой бро в монетизации сайта push-уведомлениями 
21:39 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
15:12 Ural-obmen.ru — выгодный сервис обмена 
15:04 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
14:09 Вывод сайтов в топ 
13:59 Регистрация компании за рубежом + Stripe / PayPal и евросчет: удаленно, быстро, надежно 
10:28 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
20:57 Sova.gg - надежный обменник криптовалюты. 
20:26 Ваше мнение о видео играх 
15:07 Куплю проигрышные букмекерские аккаунты 
11:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
10:31 ⭐️ Заработок до 500к/мес на БОНУСАХ ⭐️ 
02:44 Точные прогнозы на футбол 
15:43 Заказать телефонный флуд. 
11:40 Кто сделает прогон для адалт сайта?