Дамы и господа, плис помогите с робот текстом

Сообщений: 268 Регистрация: Мар 2012

17 Апреля 2015 20:24

Яша тупо выкидывает страницы, пишет запрещено в роботе, подобный робот стоит уже давно на нескольких сайтах, там проблем вроде не было(

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://site/sitemap.xml

Coder

Сообщений: 10609 Регистрация: Мар 2013

17 Апреля 2015 21:11

Посмотрите: _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

17 Апреля 2015 23:05

Не уверен, что здесь тот же случай, но у меня так было у очень нового сайта, около месяца. Я тоже испугался, уж не ошибся ли в роботсе, но оно в итоге само собой прошло:confused:

Дмитрий

Сообщений: 119 Регистрация: Окт 2012

17 Апреля 2015 23:39

Сделайте так лучше:

Код

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-login 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback 
Disallow: */feed 
Host: site.ru 
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>

Самая лучшая WAP партнёрка, которая принимает абсолютно ВЕСЬ!!! мобильный трафик.

Новые темы	Объявления	Свободное общение
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	16:25 Бустмаркет 10:38 GhostRocket.pro — Взлетаем в новую эру криптообмена! 09:59 BestChange – обменивать электронную валюту можно быстро и выгодно 08:37 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 08:36 HH.ru Работадателя вериф 05:29 ProxyWins.com - 15% по промо-коду "venividivici" 04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.

16:25 Бустмаркет
10:38 GhostRocket.pro — Взлетаем в новую эру криптообмена!
09:59 BestChange – обменивать электронную валюту можно быстро и выгодно
08:37 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно.
08:36 HH.ru Работадателя вериф
05:29 ProxyWins.com - 15% по промо-коду "venividivici"
04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

08.05.2014 11:11	Покидайте в нас камни господа
25.08.2013 15:57	Господа, нужна помощь.
27.09.2011 12:55	Дамы и господа, не подскажите...