Дамы и господа, плис помогите с робот текстом

Сообщений: 268 Регистрация: Мар 2012

17 Апреля 2015 20:24

Яша тупо выкидывает страницы, пишет запрещено в роботе, подобный робот стоит уже давно на нескольких сайтах, там проблем вроде не было(

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://site/sitemap.xml

Coder

Сообщений: 10597 Регистрация: Мар 2013

17 Апреля 2015 21:11

Посмотрите: _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

17 Апреля 2015 23:05

Не уверен, что здесь тот же случай, но у меня так было у очень нового сайта, около месяца. Я тоже испугался, уж не ошибся ли в роботсе, но оно в итоге само собой прошло:confused:

Дмитрий

Сообщений: 119 Регистрация: Окт 2012

17 Апреля 2015 23:39

Сделайте так лучше:

Код

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-login 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback 
Disallow: */feed 
Host: site.ru 
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>

Самая лучшая WAP партнёрка, которая принимает абсолютно ВЕСЬ!!! мобильный трафик.

Новые темы	Объявления	Свободное общение
09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 08:12 ру гембла 09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче	15:30 EGB Affiliates – Зарабатывайте на киберспорте, спорте и казино! 11:52 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 10:06 Услуга чертежника и 3D моделирования 08:16 Linken Sphere – браузер-антидетект нового поколения 06:27 Продам аккаунты HeadHunter (Верификация на ИП) 22:08 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:43 Volna.money	23:51 Всего п онемногу 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир... 13:13 О природе путешествий. 00:15 Накрутка поисковых подсказок

Новые темы

Объявления

Свободное общение

09:47 Adsense личный опыт
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
08:27 Ищу специалистов
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд
08:12 ру гембла
09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче

15:30 EGB Affiliates – Зарабатывайте на киберспорте, спорте и казино!
11:52 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
10:06 Услуга чертежника и 3D моделирования
08:16 Linken Sphere – браузер-антидетект нового поколения
06:27 Продам аккаунты HeadHunter (Верификация на ИП)
22:08 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
17:43 Volna.money

23:51 Всего п онемногу
17:09 Точные прогнозы на футбол
10:00 Ну что, кто куда деваете свои сайты?
16:22 Компьютерная мышь
23:55 Добро пожаловать в цифровой мир...
13:13 О природе путешествий.
00:15 Накрутка поисковых подсказок

08.05.2014 11:11	Покидайте в нас камни господа
25.08.2013 15:57	Господа, нужна помощь.
27.09.2011 12:55	Дамы и господа, не подскажите...