wordpress и robots.tst

Сообщений: 322 Регистрация: Янв 2012

15 Февраля 2012 23:43

Всем привет, у меня яндекс-вебмастер говорит "наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней."

У меня все ссылки вида mysite.ru/statya1/, mysite.ru/category/love/.
sitemap валидный загружен, там пока 13 ссылок, яндекс проиндексировал две
Я всё правильно сделал?))

Содержание robots.txt:

User-agent: YandexBlog
Allow: /

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /author/
Disallow: /search/
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /author/
Disallow: /search/
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/

Sitemap: mysite.ru/sitemap.xml
Host: mysite.ru

Изменено: Booster - 15 Февраля 2012 23:43

Белая монетизация вашего сайта

Booster

Сообщений: 322 Регистрация: Янв 2012

16 Февраля 2012 00:47

Прошу помочь.... smile:)

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

16 Февраля 2012 00:52

По идее да, этот роботс более-менее верный.

я нармальный, не маньяк, чесна.
пытаюсь поднять сайт о гороскопах csrtife.ru

Booster

Сообщений: 322 Регистрация: Янв 2012

16 Февраля 2012 01:07

То есть это у всех такое сообщение, если Wordpress?))

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

16 Февраля 2012 01:25

Для примера - вот мой роботс

Код

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: csrtife.ru
 
Sitemap:блаблабла

У меня открыты категории, потому что они у меня и есть движущая сила. Никаких санкций не имею и все нормально индексируется

Booster

Сообщений: 322 Регистрация: Янв 2012

16 Февраля 2012 01:33

ВОТ! Где у меня закрывваются категории?

Booster

Сообщений: 322 Регистрация: Янв 2012

16 Февраля 2012 01:34

Мне тоже нужны категории!

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

16 Февраля 2012 01:38

Цитата
Booster пишет: Мне тоже нужны категории!

Тогда забирайте мой роботс, далее по ходу подкорректируете. У вас открыты категории

igorys

Сообщений: 59 Регистрация: Май 2011

16 Февраля 2012 01:41

Загляните в header.php шаблона через редактор. Там иногда вставляют мета-тег Robots. Удалите его из header.php

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

#10

16 Февраля 2012 01:42

Цитата
igorys пишет: Загляните в header.php шаблона через редактор. Там иногда вставляют мета-тег Robots. Удалите его из header.php

О да, есть такое в паблик шаблонах.Последние пару сайтов заказываю шаблоны, и поэтому как то выкинул из головы такую вероятность

Booster

Сообщений: 322 Регистрация: Янв 2012

#11

16 Февраля 2012 01:45

Цитата
igorys пишет: Загляните в header.php шаблона через редактор. Там иногда вставляют мета-тег Robots. Удалите его из header.php

А чем он плох?
у меня <meta name="robots" content="noodp,noydir" />

igorys

Сообщений: 59 Регистрация: Май 2011

#12

16 Февраля 2012 01:52

Цитата
Booster пишет: у меня <meta name="robots" content="noodp,noydir" />

Удали вообще эту запись, у тебя есть robots.txt

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

#13

16 Февраля 2012 01:59

Дайте сайт в личку

Booster

Сообщений: 322 Регистрация: Янв 2012

#14

16 Февраля 2012 02:00

Я уже...но только, чем она плоха? nodp - не брать описание из DMOZ noydir - не брать описание из каталога yahoo

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

#15

16 Февраля 2012 02:02

Цитата
Booster пишет: Я уже...но только, чем она плоха? nodp - не брать описание из DMOZ noydir - не брать описание из каталога yahoo

Все равно, нефиг таким тегам в хедере стоять)

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
08.04.2019 21:55	Wordpress вставка объекта в статье на статью
28.11.2018 19:29	Как реализовать подобное в Wordpress?
29.07.2018 17:42	Запрет страниц в файле robots.txt

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	19:49 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 17:13 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 16:45 Услуги продвижения в авито 15:40 TokenTrade — Ваш новый надежный обменник 15:15 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:22 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:07 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?