Документ запрещен в файле robots.txt

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 08:48

Проблема в роботе яндексa, пишет:

Документ запрещен в файле robots.txt - 1839

robots. у меня такой:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /comments
Disallow: */comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: www.site.com

Sitemap: http://www.site.com//sitemap.xml.gz
Sitemap: http://www.site.com//sitemap.xml

Помогите плиз что с robot.txt не так?

Изменено: tet-a-tet - 18 Марта 2016 08:49

БиК-14

Сообщений: 441 Регистрация: Окт 2015

18 Марта 2016 09:14

а проблема то в чем? какая то нужная страница в индекс не попала? дак покажите эту страницу тогда. А так обычный роботс для вп

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 09:33

1839 страниц не попали в индекс, обычные статьи ни чем не отличаются от тех что проиндексированны

БиК-14 Сообщений: 441 Регистрация: Окт 2015	#4 18 Марта 2016 09:51 вы можете привести пример статьи которая не попала в индекс? без этого мы не увидим что в роботе могло на это повлиять

Новые темы	Объявления	Свободное общение
12:55 AviTool - мощный инструмент для автоматизации работы с Avito 15:19 Refmate — сервис для взаимного обмена ссылками 13:06 Продвижение по ключам 09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов	10:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 10:07 BestChange – обменивать электронную валюту можно быстро и выгодно 07:42 CoinCapital 04:04 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:13 Аккаунт работодателя 22:22 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 21:19 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ!	12:49 Всего п онемногу 12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

12:55 AviTool - мощный инструмент для автоматизации работы с Avito
15:19 Refmate — сервис для взаимного обмена ссылками
13:06 Продвижение по ключам
09:47 Adsense личный опыт
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
08:27 Ищу специалистов

10:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
10:07 BestChange – обменивать электронную валюту можно быстро и выгодно
07:42 CoinCapital
04:04 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:13 Аккаунт работодателя
22:22 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
21:19 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ!

12:49 Всего п онемногу
12:45 Куплю проигрышные букмекерские аккаунты
11:55 Union Pharm - топовая фарма-партнерка для профессионалов!
17:09 Точные прогнозы на футбол
10:00 Ну что, кто куда деваете свои сайты?
16:22 Компьютерная мышь
23:55 Добро пожаловать в цифровой мир...

20.12.2019 21:30	Формат документа не поддерживается
27.08.2016 16:03	Информационный блог попал в реестр запрещённых сайтов, что делать?
29.06.2014 19:23	Исключенные страницы "Документ является неканоническим"
05.03.2013 10:50	Проблема с сайтом: Доступ к ресурсу запрещён (403)
11.07.2012 14:29	Яндекс исключил показывает страницы как запрещенные в robots.txt