robots.txt для вордпресс - гугл, оживил затертую до смерти тему
Страницы: 1 2 След.
robots.txt для вордпресс - гугл, оживил затертую до смерти тему
Всем привет!В вебмастере гугла появился инструмент "Заблокированные ресурсы", где он стал более подробно изучать robots.txt
Теперь, в функции посмотреть как googlebot показывается 2 окна, как ивдит бот и как пользователь.

Итак с 1 февраля начался рост Заблокированных ресурсов и уже дошел до 300...

С 2012 года не трогал свой robots.txt, в котором было значение:


Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache 
Disallow: /wp-content/themes - запрет файлов темы.
Но теперь гугл недоволен, и вот его новая прихоть:  

Цитата

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.





Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.

Процетировал часть справки: вот полная версия https://support.google.com/webmasters/answer/6153277

Еще в далеком 2012 году, как щас помню настраивал свой robots.txt по запросу "Правильный роботс.тхт для вордпресс", сегодня повторил запрос. Но везде стоит запрет на индекс темы, на которую ругается гугл и не слово об этом. (даже в выдаче по результатам за последние 2 недели)

Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?
Порой мелочи, важнее общей картины.
https://dardar.ru - дари добро!
Цитата
Binker пишет:
Посмотрю, что будет. Что скажите дорогие друзья?
я думаю если бы гугл внес бы какието существенные изменения он бы оповестил всех своих пользователей об этом.
Это же не яндекс который все делает в тихаря
У меня такой же запрет стоит - Disallow: /wp-content/themes - запрет файлов темы.) 
Страницы с заблокированными ресурсами - 445. И если бы вы об этом не написали, я бы даже и не заметил)))

Цитата
Binker пишет:

Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.
У меня не приходило подобных писем, пока что)

Цитата
Binker пишет:
Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким.
Хотя гугл сам говорит, что позиции могут быть ниже) Не пойму, зачем в индексе нужен этот мусор?
Тизерная сеть для Женских сайтов: цена клика 3-5 рублей!

Новая биржа контента: цена = качество!
Цитата
Binker пишет:
Убрал запрет. Посмотрю, что будет. Что скажите дорогие друзья?
Есть какие-то изменения? И если не секрет, какой у вас роботс был и какой теперь? У меня просто тоже WP и запреты стоят на эти файлы до сих пор...
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes . и сайт просел по нескольким позициям. думал совпадение, но после вашего поста усомнился. может быть Вы правы.
В общем при блокировки контента блокируются скрипты и графические файлы, что применимо к 21ому апреля не очень хорошо https://developers.google.com/webmasters/mobile-sites/mobile-seo/?hl=ru-RU&utm_source=MFT&utm_medium=incoming-link&utm_campaign=MFT
Цитата
matiaje пишет:
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes
А какой у вас сейчас роботс? Можете показать?
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes


Что из этого желательно открыть?
я у себя ещё архив закрыл, там куски текста есть которые хавает пс  сайт/author/admin/
Цитата
D-E-Z пишет:
я у себя ещё архив закрыл, там куски текста есть которые хавает пс сайт/author/admin/
А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...
Цитата
GdeProfit пишет:
Цитата
matiaje пишет:
несколько дней назад на одном из сайтов поставил Disallow: /wp-content/themes
А какой у вас сейчас роботс? Можете показать?
пока вот такой

Код
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/



Помониторю немного. если будут проседать позиции, то вот это:

Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes


 буду исключать
Цитата
matiaje пишет:
Помониторю немного. если будут проседать позиции, то вот это:
Код
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes 


буду исключать


А гугл вебмастере ошибки выдает у вас, если эти папки закрыты в роботс как сейчас? У меня просто так же закрыто и 500 ошибок.
Код
Потерто
Изменено: Серж - 9 Апреля 2015 14:11
Ютуб канал Сделай сам
Дзен канал Сделай сам
500 дней
Паразитическая плесень когда-нибудь обязательно предъявит обвинение, что её не пускают в цветущий сад.
Цитата
GdeProfit пишет:
А можете скинуть пример вашего роботс? А то я не могу сообразить, что надо закрыть а что нет...

User-agent: *
Disallow: /go/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: *documents*
Disallow: /xmlrpc.php
Disallow: *author*
вот такой. Через вебмастер проверил, что нужно индексирует)
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:25 Стоит ли добавлять сайт в Rambler топ 100? 
18:09 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:06 Влияние ссылок буржнете 
10:53 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
08:36 Обновления интерфейса яндекс метрики 
15:13 Рапида умерла. Куда выводить с AdSense? 
15:05 Чем заменили ТИЦ? 
22:15 Криптовалютный обменник Xgram.io - новое воплощение качества 
15:49 Проверка на индекс в Telegram боте @SpeedyIndexbot 
13:47 HidMark.com - естественные ссылки от 1.5$ Естественные ссылки. Крауд-маркетинг. 
12:05 USMobileSMSBot - 
11:16 4G/LTE Mobile Proxy 30+ geo  
15:34 «Взрываем языковые преграды» – переводим любые тексты 
15:31 Доходные сайты под бурж 
22:09 Точные прогнозы на футбол 
19:49 Текст.ру преподнёс "подарок" 
18:12 Подтягиваем физкультурку 
13:45 В России снизили беспошлинный порог для онлайн-покупок 
13:30 Тренды заработка 2024-2025 
13:12 Суд постановил заблокировать Telegram 
11:10 150+ хакерских поисковых систем и инструментов