Запрет страниц в файле robots.txt
Страницы: 1
Запрет страниц в файле robots.txt
Привет всем! Не знаю что натворила, но у меня в файле роботс стоит запрет на индексирование. Увидела это сообщение в яндекс вебмастере. Страницы все вылетели из поиска яндекса. Вот роботс.тхт
User-agent: * 
Disallow: /page
Disallow: /tag
Disallow: /cgi-bin 
Disallow: /?            
Disallow: /wp-          
Disallow: /wp/                             
Disallow: *?s=           
Disallow: *&s=        
Disallow: /search/      
Disallow: /author/         
Disallow: /users/          
Disallow: */trackback                    
Disallow: */feed          
Disallow: */rss            
Disallow: */embed  
Disallow: */wlwmanifest.xml 
Disallow: /xmlrpc.php 
Disallow: *utm=  
Disallow: *openstat= 
Allow: */uploads
Disallow: /#
Sitemap: http://адрес сайта
Sitemap: http:/адрес сайта
Host: адрес сайта
Изменено: Ann Osta - 28 Июля 2018 19:03

Бесплатная контекстная реклама

Disallow: /# Этим вы запретили индексацию всего сайта. Знак #  в robots.txt  это комментарий - соответственно  Disallow: / = запрет от корня. "Sitemap: http:/адрес"  это также неправильно. Оставлять, только, первый "Sitemap: http://адрес сайта ". Все остальное норм.
Цитата
Aleksandr Botnikov пишет:
Disallow: /# Этим вы запретили индексацию всего сайта. Знак # в robots.txt это комментарий - соответственно Disallow: / = запрет от корня. "Sitemap: http:/адрес" это также неправильно. Оставлять, только, первый "Sitemap: http://адрес сайта ". Все остальное норм.

О, спасибо большое, сейчас исправлю. А вот это Sitemap: http:/ , я просто при редактировании темы случайно удалила один слэш
Вот правильный роботс для вордпресса

Код
 User-agent: *              
                            
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: /wp/               
                            
Disallow: *?s=              
Disallow: *&s=              
Disallow: /search/          
Disallow: /author/          
Disallow: /users/           
Disallow: */trackback        
                            
Disallow: */feed            
Disallow: */rss             
Disallow: */embed           
Disallow: */wlwmanifest.xml  
                            
Disallow: /xmlrpc.php       
Disallow: *utm*=            
Disallow: *openstat=        
Allow: */uploads            

User-agent: GoogleBot       
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js              
Allow: /*/*.css             
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif 
Allow: /wp-admin/admin-ajax.php 

User-agent: Yandex 
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat 
Host:  адрес_сайта

Sitemap: http://адрес_сайта/sitemap_index.xml
хост уже не нужен. не смертельно, но яндекс рекомендует удалять.
Я из США, а эти двое то ли из России, то ли из Москвы. ©
Спасибо за правильный роботс, детективу хост значит уберем. А что вот эти строчки значат?
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat
Ann Osta, Ну это когда вы ставите ютм метки, например для отслеживания трафика с рекламы, опенстат тоже для метрики
Цитата
SEO Лаборант пишет:
Ann Osta, Ну это когда вы ставите ютм метки, например для отслеживания трафика с рекламы, опенстат тоже для метрики

Понятно, спасибо
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:23 Вопрос по yoast seo 17 
23:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
22:29 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
19:21 PlayCash - партнерка для заработка на азартном трафике! 
17:23 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:13 Marketcall - международная партнерская сеть с оплатой Pay Per Call и LeadGen 
15:12 Вывод денег с Adsense 
23:34 Bitality.cc - обменник электронных валют 
19:56 LucPey - Первоклассный обменник криптовалют 
14:01 Undetectable - антидетект браузер для быстрой и безопасной работы в сети. 
13:55 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
13:24 ✅UNIO-IT Разработка IT-продуктов 
10:18 [eBucks] Автоматический обмен криптовалют. BTC и любые альткоины. Киви, Банковские карты и др. электронные системы. 
22:06 Скидка 40% на Xevil+Xrumer! 
15:37 Партнерка от vfxAlert - надежный способ монетизировать финансовый трафик! 
11:35 "Почта России" заявила, что начнет доставлять посылки на беспилотниках 
11:33 Суд встал на сторону почтальонов в скандале с продажей продуктов на дому. «Почта России» выплатит им компенсации 
00:38 Изменения в Условиях использования YouTube 
01:44 likeboss.biz - накрутка в соцсетях. С гарантией. 
00:24 «Ростелеком» предложил запретить доступ к публичным серверам Google 
12:15 Несколько слов о том, почему ты должен выбрать нас!