Запрет на индексацию

Сообщений: 16 Регистрация: Дек 2011

13 Июля 2015 14:18

Здравствуйте друзья. Помогите пожалуйста разобраться с проблемой, в общем:

Цитата

12.07.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.
Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.

Есть несколько сайтов с таким сообщением, делаю проверку - всё в порядке, но каждый день я читаю новые сообщения с тем же содержанием, но с датой за вчера. То есть - 11.07.2015 наш робот.... Как справиться с такой проблемой? Может кто имел с этим дело.

Изменено: Муха Цикатуха - 13 Июля 2015 14:19

Александр I

Сообщений: 605 Регистрация: Янв 2014

13 Июля 2015 14:42

Цитата
Муха Цикатуха пишет: полный запрет на индексирование сайта в Вашем файле robots.txt

Если ошибка в роботсе, то наверно логично, прикрепить сам файл или ссылку на сайт, где его можно посмотреть smile:)

Отзыв на хостинг it-mcp.ru

Александр Гаврилов

Сообщений: 18 Регистрация: Июн 2015

13 Июля 2015 14:48

скорее всего ип адрес вашего хостера в бане у яндекса... поэтому и не может читать данный файл

Александр I

Сообщений: 605 Регистрация: Янв 2014

13 Июля 2015 15:01

Цитата
Александр Гаврилов пишет: скорее всего ип адрес вашего хостера в бане у яндекса... поэтому и не может читать данный файл

Так тогда бы сайт не индексировался и без роботса. И еще... Яндекс банит по IP? :confused:Первый раз слышу.

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

13 Июля 2015 15:03

[COLOR=#000080]Файл роботс[/COLOR]

Код
User-agent: *Disallow: /wp-admin/

То есть вордпрес, дело не в ип, другие сайты на том-же ипе и платформе с тем-же роботс нормально индексируются, кроме того есть с быстроботами.

Александр Гаврилов

Сообщений: 18 Регистрация: Июн 2015

13 Июля 2015 15:04

Цитата
Яндекс банит по IP? Первый раз слышу.

конечно банит)

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

13 Июля 2015 15:11

Ещё добавлю, что домены на которых это наблюдается куплены на аукционе (то есть с историей), склеек нет.Точный роботс:

User-agent: *
Disallow: /wp-admin/

akcent902

Сообщений: 442 Регистрация: Ноя 2013

13 Июля 2015 16:45

интересный случай)) может просто подождать нужно

Форум строительство дома своими руками

Объявления в Липецке Усмань 48 Объявления

Шаблоны html

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

13 Июля 2015 16:59

Цитата
akcent902 пишет: интересный случай)) может просто подождать нужно

Мне тоже так кажется, но всё-же если сообщение ежедневно обновляется, то значит робот всё-таки заходил и смотрел, почему проблему не исчерпывает...
Хочу попробовать на одном ради теста вообще удалить роботс, но как это сделать на wp - я не знаю, если удалять с файла function php - сайт вобще перестает работать.

Александр I

Сообщений: 605 Регистрация: Янв 2014

#10

13 Июля 2015 17:12

Цитата
Муха Цикатуха пишет: Хочу попробовать на одном ради теста вообще удалить роботс, но как это сделать на wp - я не знаю, если удалять с файла function php - сайт вобще перестает работать.

у вас роботс в function php? smile:eek:

robots.txt лежит в корне сайта -> site.ru/robots.txt и его нужно удалять через фтп

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

#11

13 Июля 2015 17:32

Цитата

Александр I пишет:

Цитата
Муха Цикатуха пишет: Хочу попробовать на одном ради теста вообще удалить роботс, но как это сделать на wp - я не знаю, если удалять с файла function php - сайт вобще перестает работать.

у вас роботс в function php? smile:eek:

robots.txt лежит в корне сайта -> site.ru/robots.txt и его нужно удалять через фтп

Да, в WP на сколько я знаю роботс создается именно в этом файле, но когда я пытался удалить часть кода(именна та часть в которой создается роботс), сайт переставал работать.

Сделал по Вашему совету, яндекс определил именно роботс с корня, оставил его пустым, посмотрим что скажет завтра.

P.S. Если кто-то знает как полностью исключить файл роботс в WP - подскажите пожалуйста. Хочу полностью убрать его на аналогичном проблемном.

Изменено: Муха Цикатуха - 13 Июля 2015 17:39

Александр I

Сообщений: 605 Регистрация: Янв 2014

#12

13 Июля 2015 17:39

Цитата
Муха Цикатуха пишет: Да, в WP на сколько я знаю роботс создается именно в этом файле,

Погуглил, действительно, в старых версиях вордпресса автоматически генерит роботс. Может имеет смысл обновить CMS?Кстати, вот тут описан процесс, как изменить путь для роботса при автогенерации, может пригодиться.

ИМХО, но дело именно в этой автогенерации. А раньше проблемы возникали?

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

#13

13 Июля 2015 17:47

Цитата
Александр I пишет: Погуглил, действительно, в старых версиях вордпресса автоматически генерит роботс. Может имеет смысл обновить CMS? ИМХО, но дело именно в этой автогенерации. А раньше проблемы возникали?

У меня последние версии WP, в них значит по прежнему генерируется роботс как и в старых версиях. Никаких проблем, к то-муже, большинство сайтов на том-же хосте, той-же версии, с тем-же роботс, тем-же айпи - работают нормально.

Цитата
Кстати, вот тут описан процесс, как изменить путь для роботса при автогенерации, может пригодиться.

Спасибо, сейчас буду пробовать.

Александр I

Сообщений: 605 Регистрация: Янв 2014

#14

13 Июля 2015 17:58

Цитата
Муха Цикатуха пишет: большинство сайтов на том-же хосте, той-же версии, с тем-же роботс, тем-же айпи - работают нормально.

ну не знаю, у меня последняя версия - 4.2.2. и там работс не генерится автоматически smile:confused:

Муха Цикатуха

Сообщений: 16 Регистрация: Дек 2011

#15

13 Июля 2015 18:11

Цитата

Александр I пишет:

Цитата
Муха Цикатуха пишет: большинство сайтов на том-же хосте, той-же версии, с тем-же роботс, тем-же айпи - работают нормально.

ну не знаю, у меня последняя версия - 4.2.2. и там работс не генерится автоматически smile:confused:

Да, его как-бы вообще нет, но он есть. То есть он как отдельный файл не появляется. Попробуйте сделать проверку через яндекс вебмастер и убедитесь что роботс всё таки есть)
По поводу предыдущей ссылке - да всё именно так - в старых версиях файл создавался, теперь нет.
Сегодня 14.07 и не на одном из проблемных сайтов не обновило сообщение что 13.07 робот не смог, хотя до этого 3 дня подряд не мог. Походу был какой-то глюк, хотя ещё не вечер - если что изменится - я напишу.Cегодня 15.07 - только что заметил по трем сайтам обновленную инфу:

Цитата
13.07.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.

Даже на сайте где ставил пустой роботс. Cегодня 15.07 13:35 - обновило сообщение что 14-го числа не смог.Осталась надежда что это глюк и после текстового апа картина изменится.
Сегодня 16.07 робот написал что 15 числа он не смог, но не важно, сегодня произошел магический ап и практически на всех новых сайтах страницы влетели со свистом, давно не было такого хорошего апа. Проблемные сайты (роботс.тхт) также отлично проиндексировались.Сегодня 17.07 - восклицательные знаки исчезли, проблема исчерпана. Можно тему закрывать.

Изменено: Муха Цикатуха - 17 Июля 2015 01:24

Похожие темы:

25.02.2021 23:25	ФАС запретила "Яндексу" занижать позиции конкурентов в поисковой выдаче
19.11.2019 15:43	Индексация сайта с запретом Deny from
05.12.2017 17:42	Влияет ли как то ютуб на индексацию сайта?
06.10.2017 04:40	Установлен запрет индексирования но сайт индексируется
31.07.2017 18:56	Как запретить Яндексу индексировать тэги в Вордпресс?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:23 Подскажите нормальный сервис накрутки ПФ 15:44 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 19:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 11:41 2Index - быстрая индексация страниц сайта и обратных ссылок	01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 22:30 SOCKS5 приватные прокси на 30 дней для PayPal 22:29 Google Voice аккаунты для бесплатных SMS и звонков 22:29 PayPal аккаунты для любых целей 20:15 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 19:25 Whatsapp рассылки и реселлерская программа 17:01 Продажа горячих лидов под крипту / Crypto Leads for Sale	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?