Гугл не видит роботс
Страницы: 1
Гугл не видит роботс
Вобщем ничего не менял,ничего не делал просто захожу в вебинструменты а там вот такая ошибка.
Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.
с яндексом всё в порядке,ошибка эта примерно дней 10 уже,страницы вроде как сканирует,но в десятки раз меньше чем раньше,смотрел как гугл бот тоже всё в норме,но ошибка не пропадает...
Вот роботс
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /xfsearch/
Host: 
sitemap: /sitemap.xml
Повторюсь ещё раз,раньше всё было нормально (роботс не трогал)
Изменено: 0Bk03 - 1 Мая 2013 16:01
Цитата
0Bk03 пишет:
Host:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.
Host и sitemap заполнен,я просто убрал название сайта в нём!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)но проиндексировало,потом поставил роботс опять ошибка,пробовал закрывать метатэгами и роботс сделать минимальным,но что-товидимо не так сделал и опять проиндексировало мусор!
Вообщем роботс убераю всё хорошо,как только ставлю всё плохо.Не пойму в чём дело, ведь раньше всё было нормально.smile:wall:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.
Цитата
Coder пишет:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.


Цитата
0Bk03 пишет:
!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)


Цитата
Алексей SP пишет:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Проблема в том что не видит роботс
Изменено: 0Bk03 - 1 Мая 2013 17:39
Цитата
0Bk03 пишет:
sitemap: /sitemap.xml
Полный путь укажите.

Цитата
0Bk03 пишет:
Пустой роботс пробовал проиндексировало 1500 страниц мусора=
таки видит.
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
Цитата
Coder пишет:
Полный путь укажите.
Путь указан,я убрал название сайта и sitemap.

Цитата
Александр Вашкевич пишет:
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
нет,сайт не падает,я даже хостинг сменил,но ошибка всё равно не пропадает.Незнаю что делать
Может быть, у вас мета тег для роботов стоит?
стоит только на страницах,которые нужно скрыть от индексации,но он почему-то не работает и роботс не работает,только что ещё 1500 дублей проиндексировало:wall:Роботс запрещает индексацию,но почему-то не всех страниц.
вот некоторые из них:

/page/12/
/page/13/
/page/20/
/page/20/[xfvalue_imdb]
/page/23/
/page/24/
/page/27/
/page/28/
/page/30/
/page/41/
/page/42/
/page/43/
/page/44/
/page/51/
/page/52/
В роботсе прописано Disallow: /page/ + эти страницы закрыты метатэгом <meta name="robots" content="noindex,nofollow" />
В чём дело не пойму
Изменено: 0Bk03 - 2 Мая 2013 19:40
А вы проверьте, есть ли эти страницы в выдаче. То, что Гугл их добавил в свою базу, еще не значит, что они присутствуют в индексе.
Проверил,в выдаче они есть,на некоторых написано Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Но написано это не на всех страницах и Повторяющееся метаописание растет с каждым днём и почему то не пропадает ошибка в гугл веб инмтрументах:confused:
Когда проверяю роботс в вебмастере,то страницы вида page запрещенны в индекс,а страницы ввида /fentezi/page/7/ разрешенно для индексации,но почему?в роботсе же запрещены все page или нужно уточнять какие именно?
Изменено: 0Bk03 - 2 Мая 2013 21:31
Может у кого-то ещё есть мнения?в частности интересует почему страницы с категорией не закрываются в роботс
Пример  /fentezi/page/7/ при проверке,показывает статус разрешенно к индексации,но page закрыт в роботс
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
08:58 Мониторинг обменников Сrypto-scout.io 
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:31 Профессиональный и грамотный дизайн от DesignCash 
18:27 Nexulume.com Обменник без AML и KYC 
15:45 Mixmasters - Exchange without AML and KYC 
10:22 Swapwatch.org — Мониторинг криптовалютных обменников 
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 
08:50 Гильотина для классиков: Клод доедает физические книги 
08:40 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
05:10 Точные прогнозы на футбол 
18:34 Ставки на супер тренды в спорте 
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко