Проблемы с Googlebot
Страницы: 1
Проблемы с Googlebot, Googlebot выдает ошибки 403
Возникла проблема возможно из за робот тхт. Помогите может быть в нем что то не так?


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://мой сайт
Sitemap: https://мой сайт/sitemap.xml.gz
Sitemap: https://мой сайт/sitemap.xml


Были ли проблемы у кого с Googlebot 

На сайте https://мой сайт/ стало больше URL, к которым нет свободного доступа. Они переадресуют на страницу ввода учетных данных или возвращают код 403 (доступ запрещен). Из-за этого посетители не могут просмотреть нужный контент, а Ваши страницы не отображаются в результатах Google Поиска.

А может быть из за плагина какого нибудь?smile:confused:

Бесплатная контекстная реклама

Не пойму в чем дело и страницы в минус пошли из за этогоsmile:confused:
Сайт на вордпресс
Если есть в плагинах css js и картинки - лучше открыть эти папки.Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Цитата
Dmitry Gal пишет:
лучше открыть эти папки
1) Открыть в смысле каким способом? 2)И не повлечет ли за собой каких либо негативных последствий?
Можно примерно так добавить. Все должно работать. 

Код
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.woff
Allow: /wp-*.ttf 

пс. а зачем одинаковые правила для разных ботов?
Цитата
lookas99 пишет:
одинаковые правила для разных ботов?
А какие должны быть? И как ваш файл добавить в мой т.е. как он будет выглядеть?
Просто не к чему повторять ТЕ ЖЕ самые правила для яндекса. Он хоть и туповат, но не на столько smile:D
Попробуйте такой robots.txt

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: */trackback 
Disallow: */*/trackback 
Disallow: */*/feed/*/ 
Disallow: */feed 
Disallow: /*?* 
Disallow: /tag 
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.woff
Allow: /wp-*.ttf 

Host: https://мой сайт 
Sitemap: https://мой сайт/sitemap.xml.gz 
Sitemap: https://мой сайт/sitemap.xml  
Народ посоветуйте свои робот.тхт у кого какие и чем они лучше по вашему мнению
А что меняли до того как гугл выдал предупреждение?

Не факт что из-за robots.txt

Файл .htaccess можете показать?

Так же посмотрите на проблемные страницы "Просмотреть как Googlebot" в панели вебмастера.
Цитата
MrLexKo пишет:
Файл .htaccess можете показать?
Файл очень большой так как там есть изменения которые вносит плагин securiti. Вот именно что менял и когда не помню! С вордпресс пока не особо дружу. Вот сам файл:

# BEGIN iThemes Security - Не меняйте и не удаляйте эту строку
# iThemes Security Config Details: 2
# Включить черный список HackRepair.com - Безопасность > Настройки > Бан пользователей > Черный список по умолчанию
# Start HackRepair.com Blacklist
RewriteEngine on
# Start Abuse Agent Blocking
RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*Indy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*NEWT" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Maxthon$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SeaMonkey$" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Acunetix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^binlar" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^BlackWidow" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Bolt 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^BOT for JCE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Bot mailto\:craftbot@yahoo\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^casper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^checkprivacy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ChinaClaw" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^clshttp" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^cmsworldmap" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Custo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Default Browser 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^diavol" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^DIIbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^DISCo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^dotbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Download Demon" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^eCatch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EirGrabber" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailCollector" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailSiphon" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EmailWolf" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Express WebPictures" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^extract" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ExtractorPro" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^EyeNetIE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^feedfinder" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^FHscan" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^FlashGet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^flicky" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^g00g1e" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GetRight" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GetWeb\!" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Go\!Zilla" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Go\-Ahead\-Got\-It" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^grab" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^GrabNet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Grafula" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^harvest" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^HMView" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Image Stripper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Image Sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^InterGET" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Internet Ninja" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^InternetSeer\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^jakarta" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Java" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^JetCar" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^JOC Web Spider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^kanagawa" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^kmccrew" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^larbin" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^LeechFTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^libwww" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mass Downloader" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^microsoft\.url" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^MIDown tool" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^miner" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Mister PiX" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^MSFrontPage" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Navroad" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NearSite" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Net Vampire" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetAnts" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^NetZIP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^nutch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Octopus" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Offline Explorer" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Offline Navigator" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^PageGrabber" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Papa Foto" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pavuk" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pcBrowser" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^PeoplePal" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^planetwork" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^psbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^purebot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^pycurl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^RealDownload" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^ReGet" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Rippers 0" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^sitecheck\.internetseer\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SiteSnagger" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^skygrid" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SmartDownload" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SuperBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^SuperHTTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Surfbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^tAkeOut" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Teleport Pro" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Toata dragostea mea pentru diavola" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^turnit" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^vikspider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^VoidEYE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Web Image Collector" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebAuto" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebBandit" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebCopier" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebFetch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebGo IS" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebLeacher" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebReaper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebSauger" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Website eXtractor" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Website Quester" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebStripper" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebWhacker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WebZIP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Widow" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WPScan" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WWW\-Mechanize" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^WWWOFFLE" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Xaldon WebSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^Zeus" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "^zmeu" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "360Spider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "CazoodleBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "discobot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "EasouSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ecxi" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "GT\:\:WWW" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "heritrix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTP\:\:Lite" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ia_archiver" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "id\-search" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "IDBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Indy Library" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "IRLbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ISC Systems iRc Search 2\.1" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "LinksCrawler" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "LinksManager\.com_bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "linkwalker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "lwp\-trivial" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MFC_Tear_Sample" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Missigua Locator" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "panscient\.com" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PECL\:\:HTTP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PHPCrawl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PleaseCrawl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SBIder" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SearchmetricsBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SeznamBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Snoopy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Steeler" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "URI\:\:Fetch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "urllib" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Web Sucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "webalta" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WebCollage" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Wells Search II" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WEP Search" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "XoviBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "YisouSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "zermelo" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "ZyBorg" [NC,OR]
# End Abuse Agent Blocking
# Start Abuse HTTP Referrer Blocking
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?semalt\.com" [NC,OR]
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?kambasoft\.com" [NC,OR]
RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+\.)?savetubevideo\.com" [NC]
# End Abuse HTTP Referrer Blocking
RewriteRule ^.* - [F,L]
# End HackRepair.com Blacklist, http://pastebin.com/u/hackrepair

# Заблокированые хосты - Безопасность > Настройки > Заблокированные пользователи
SetEnvIF REMOTE_ADDR "^81\.177\.165\.220$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^81\.177\.165\.220$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^81\.177\.165\.220$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.76\.136$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.76\.136$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.76\.136$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.72$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.72$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.72$" DenyAccess

SetEnvIF REMOTE_ADDR "^5\.255\.253\.49$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^5\.255\.253\.49$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^5\.255\.253\.49$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.5$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.5$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.5$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.69\.209$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.69\.209$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.69\.209$" DenyAccess

SetEnvIF REMOTE_ADDR "^5\.255\.253\.69$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^5\.255\.253\.69$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^5\.255\.253\.69$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.27$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.27$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.27$" DenyAccess

SetEnvIF REMOTE_ADDR "^91\.121\.162\.202$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^91\.121\.162\.202$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^91\.121\.162\.202$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.76\.38$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.76\.38$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.76\.38$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.75\.178$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.75\.178$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.75\.178$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.184\.7$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.184\.7$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.184\.7$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.40$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.40$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.40$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.184\.28$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.184\.28$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.184\.28$" DenyAccess

SetEnvIF REMOTE_ADDR "^93\.158\.152\.32$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^93\.158\.152\.32$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^93\.158\.152\.32$" DenyAccess

SetEnvIF REMOTE_ADDR "^141\.8\.132\.62$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^141\.8\.132\.62$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^141\.8\.132\.62$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.75\.37$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.75\.37$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.75\.37$" DenyAccess

SetEnvIF REMOTE_ADDR "^66\.249\.64\.83$" DenyAccess
SetEnvIF X-FORWARDED-FOR "^66\.249\.64\.83$" DenyAccess
SetEnvIF X-CLUSTER-CLIENT-IP "^66\.249\.64\.83$" DenyAccess

<IfModule mod_authz_core.c>
<RequireAll>
Require all granted
Require not env DenyAccess
Require not ip 81.177.165.220
Require not ip 66.249.76.136
Require not ip 93.158.152.72
Require not ip 5.255.253.49
Require not ip 93.158.152.5
Require not ip 66.249.69.209
Require not ip 5.255.253.69
Require not ip 141.8.132.27
Require not ip 91.121.162.202
Require not ip 66.249.76.38
Require not ip 66.249.75.178
Require not ip 141.8.184.7
Require not ip 141.8.132.40
Require not ip 141.8.184.28
Require not ip 93.158.152.32
Require not ip 141.8.132.62
Require not ip 66.249.75.37
Require not ip 66.249.64.83
</RequireAll>
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Allow from all
Deny from env=DenyAccess
Deny from 81.177.165.220
Deny from 66.249.76.136
Deny from 93.158.152.72
Deny from 5.255.253.49
Deny from 93.158.152.5
Deny from 66.249.69.209
Deny from 5.255.253.69
Deny from 141.8.132.27
Deny from 91.121.162.202
Deny from 66.249.76.38
Deny from 66.249.75.178
Deny from 141.8.184.7
Deny from 141.8.132.40
Deny from 141.8.184.28
Deny from 93.158.152.32
Deny from 141.8.132.62
Deny from 66.249.75.37
Deny from 66.249.64.83
</IfModule>

# Заблокированые приложения - Безопасность > Настройки > Заблокированые пользователи
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^91\.200\.12\.91 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^37\.122\.101\.89 [NC]
RewriteRule ^.* - [F]
</IfModule>

# Отключить XML-RPC - Безопасность > Настройки > Подстройка WordPress > XML-RPC
<files xmlrpc.php>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>

<IfModule mod_rewrite.c>
RewriteEngine On

# Reduce Comment Spam - Security > Settings > WordPress Tweaks > Comment Spam
RewriteCond %{REQUEST_METHOD} POST
RewriteCond %{REQUEST_URI} /wp-comments-post\.php$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_REFERER} !^https?://(([^/]+\.)?мой сайт\.com|jetpack\.wordpress\.com/jetpack-comment)(/|$) [NC]
RewriteRule ^.* - [F]
</IfModule>

# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
<files .htaccess>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files readme.html>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files readme.txt>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>
<files wp-config.php>
<IfModule mod_authz_core.c>
Require all denied
</IfModule>
<IfModule !mod_authz_core.c>
Order allow,deny
Deny from all
</IfModule>
</files>

<IfModule mod_rewrite.c>
RewriteEngine On

# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
RewriteRule ^wp-admin/install\.php$ - [F]
RewriteRule ^wp-admin/includes/ - [F]
RewriteRule !^wp-includes/ - [S=3]
RewriteRule ^wp-includes/[^/]+\.php$ - [F]
RewriteRule ^wp-includes/js/tinymce/langs/.+\.php - [F]
RewriteRule ^wp-includes/theme-compat/ - [F]
</IfModule>
# END iThemes Security - Не меняйте и не удаляйте эту строку

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(www\.)?мой старый сайт\.ru$ [NC]
RewriteRule ^(.*)$ https://мой новый сайт/$1 [R=301,L]

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

# BEGIN EWWWIO

# END EWWWIO
Цитата
MrLexKo пишет:
Так же посмотрите на проблемные страницы "Просмотреть как Googlebot" в панели вебмастера.
Да при проверке периодически выдает ошибкиsmile:confused:
Цитата
WGN пишет:
Да при проверке периодически выдает ошибки
Сам сайт при этом нормально отображается в гугл вебмастере?



В вашем .htaceess много запретов, возможно и гугл что то не пускает...


Попробуйте оставить в нем стандартный для WP код:
Код
# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress
 


И отключите плагины, которые вносят в него изменения.
Затем снова проверьте страницу/цы через Googlebot на предмет ошибок.

И если можно скиньте сайт в личку.
Спасибо всем отозвавшемся вроде все решилось smile:confused: деактивировал плагин i theme securiti отдельную благодарность за помощь по сайту выражаю MrLexKo
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:48 Позиция в поисковой выдаче 
14:44 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
14:41 Накажет ли яндекс за скрытый блок в мобилке? 
14:32 Яндекс тИЦ 16.02.2017 
14:17 Апдейт 26 февраля 2017 года 
13:30 История о том где я вконтакте продвигал 
13:27 WebSite или WebPage? 
14:31 Качественное, массовое размещение объявлений на досках. 
14:31 Куплю сайты с ТИЦ от 10 и выше 
13:40 Услуга по поднятию Тиц сайтов. Оплата единоразовая! 
13:28 Продам домены для дорвеев или спама 
10:47 Размещаю ссылки, постовые, статьи и баннеры. ТИЦ 50 
10:04 SEO продвижение сайтов 2017 
00:52 Продам музыкальный сайт 
14:21 2domains совсем обнаглели. Куда свалить? 
13:48 отзывы constructiontop100plus.ru / Топ 100 сайтов о строительстве - прям крутотенюшка-крутота!) 
13:17 Грамотное Сео описание категорий для сайта Фотографа 
13:08 Госзакупки - продления домена за 100 т.р. 
12:04 Надо с сервака парсить сайт один с разных IP 
11:15 Реф. ссылку надо обязательно обойти и зарегистрироваться по прямой! 
10:36 продолжение романа Пелевина поколение "П"