Дамы и господа, плис помогите с робот текстом

Сообщений: 268 Регистрация: Мар 2012

17 Апреля 2015 20:24

Яша тупо выкидывает страницы, пишет запрещено в роботе, подобный робот стоит уже давно на нескольких сайтах, там проблем вроде не было(

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://site/sitemap.xml

Coder

Сообщений: 10633 Регистрация: Мар 2013

17 Апреля 2015 21:11

Посмотрите: _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

17 Апреля 2015 23:05

Не уверен, что здесь тот же случай, но у меня так было у очень нового сайта, около месяца. Я тоже испугался, уж не ошибся ли в роботсе, но оно в итоге само собой прошло:confused:

Дмитрий

Сообщений: 119 Регистрация: Окт 2012

17 Апреля 2015 23:39

Сделайте так лучше:

Код

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-login 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback 
Disallow: */feed 
Host: site.ru 
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>

Самая лучшая WAP партнёрка, которая принимает абсолютно ВЕСЬ!!! мобильный трафик.

Новые темы	Объявления	Свободное общение
22:18 25.12.25 Апдейт Яндекс выдача 22:12 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 22:09 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 22:01 Ссылки с сайтов РБ 13:21 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 09:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 09:11 Продвижение-2022: Гугл все? Нет – Гугл не все!	22:21 Terminal.cash - надежный обмен криптовалюты 22:20 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 13:00 Mixmasters - Exchange without AML and KYC 10:24 Размещение статей, ссылок и постовых на качественных ресурсах 08:49 Продвижение на Авито 08:48 xpoint.pro - быстрый и надежный криптообменный сервис Xpoint 18:09 Onechange.me — надежный обменник криптовалют и фиатных средств	22:43 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 16:15 Стряхнуть обыденность - об Агасфере 16:13 Осторожно! Криптовалюта 12:20 Компьютерная мышь 10:21 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут? 23:08 Физические сим-карты 22:52 37 противникам прививок от COVID грозят уголовные дела

Новые темы

Объявления

Свободное общение

22:18 25.12.25 Апдейт Яндекс выдача
22:12 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача
22:09 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025
22:01 Ссылки с сайтов РБ
13:21 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать
09:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
09:11 Продвижение-2022: Гугл все? Нет – Гугл не все!

22:21 Terminal.cash - надежный обмен криптовалюты
22:20 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
13:00 Mixmasters - Exchange without AML and KYC
10:24 Размещение статей, ссылок и постовых на качественных ресурсах
08:49 Продвижение на Авито
08:48 xpoint.pro - быстрый и надежный криптообменный сервис Xpoint
18:09 Onechange.me — надежный обменник криптовалют и фиатных средств

22:43 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
16:15 Стряхнуть обыденность - об Агасфере
16:13 Осторожно! Криптовалюта
12:20 Компьютерная мышь
10:21 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут?
23:08 Физические сим-карты
22:52 37 противникам прививок от COVID грозят уголовные дела

08.05.2014 11:11	Покидайте в нас камни господа
25.08.2013 15:57	Господа, нужна помощь.
27.09.2011 12:55	Дамы и господа, не подскажите...