Гугл не видит роботс
Страницы: 1
Гугл не видит роботс
Вобщем ничего не менял,ничего не делал просто захожу в вебинструменты а там вот такая ошибка.
Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.
с яндексом всё в порядке,ошибка эта примерно дней 10 уже,страницы вроде как сканирует,но в десятки раз меньше чем раньше,смотрел как гугл бот тоже всё в норме,но ошибка не пропадает...
Вот роботс
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /xfsearch/
Host: 
sitemap: /sitemap.xml
Повторюсь ещё раз,раньше всё было нормально (роботс не трогал)
Изменено: 0Bk03 - 1 Мая 2013 16:01
Цитата
0Bk03 пишет:
Host:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.
Host и sitemap заполнен,я просто убрал название сайта в нём!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)но проиндексировало,потом поставил роботс опять ошибка,пробовал закрывать метатэгами и роботс сделать минимальным,но что-товидимо не так сделал и опять проиндексировало мусор!
Вообщем роботс убераю всё хорошо,как только ставлю всё плохо.Не пойму в чём дело, ведь раньше всё было нормально.smile:wall:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.
Цитата
Coder пишет:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.


Цитата
0Bk03 пишет:
!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)


Цитата
Алексей SP пишет:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Проблема в том что не видит роботс
Изменено: 0Bk03 - 1 Мая 2013 17:39
Цитата
0Bk03 пишет:
sitemap: /sitemap.xml
Полный путь укажите.

Цитата
0Bk03 пишет:
Пустой роботс пробовал проиндексировало 1500 страниц мусора=
таки видит.
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
Цитата
Coder пишет:
Полный путь укажите.
Путь указан,я убрал название сайта и sitemap.

Цитата
Александр Вашкевич пишет:
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
нет,сайт не падает,я даже хостинг сменил,но ошибка всё равно не пропадает.Незнаю что делать
Может быть, у вас мета тег для роботов стоит?
стоит только на страницах,которые нужно скрыть от индексации,но он почему-то не работает и роботс не работает,только что ещё 1500 дублей проиндексировало:wall:Роботс запрещает индексацию,но почему-то не всех страниц.
вот некоторые из них:

/page/12/
/page/13/
/page/20/
/page/20/[xfvalue_imdb]
/page/23/
/page/24/
/page/27/
/page/28/
/page/30/
/page/41/
/page/42/
/page/43/
/page/44/
/page/51/
/page/52/
В роботсе прописано Disallow: /page/ + эти страницы закрыты метатэгом <meta name="robots" content="noindex,nofollow" />
В чём дело не пойму
Изменено: 0Bk03 - 2 Мая 2013 19:40
А вы проверьте, есть ли эти страницы в выдаче. То, что Гугл их добавил в свою базу, еще не значит, что они присутствуют в индексе.
Проверил,в выдаче они есть,на некоторых написано Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Но написано это не на всех страницах и Повторяющееся метаописание растет с каждым днём и почему то не пропадает ошибка в гугл веб инмтрументах:confused:
Когда проверяю роботс в вебмастере,то страницы вида page запрещенны в индекс,а страницы ввида /fentezi/page/7/ разрешенно для индексации,но почему?в роботсе же запрещены все page или нужно уточнять какие именно?
Изменено: 0Bk03 - 2 Мая 2013 21:31
Может у кого-то ещё есть мнения?в частности интересует почему страницы с категорией не закрываются в роботс
Пример  /fentezi/page/7/ при проверке,показывает статус разрешенно к индексации,но page закрыт в роботс
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 
22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
22:21 Слипание слов в блоке 
22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
22:05 С чего сейчас проще начать? 
21:57 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
22:17 Продам домен translated.ru 
21:00 Portfel.cc - современный помощник в Ваших финансовых операциях. 
19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB | Мобильные-$2/GB | Datacenter-$1/GB | PREMIUM-$4 /GB 
15:05 Mixmasters - Exchange without AML and KYC 
13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
11:11 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:05 Огородники 
13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
13:02 С юмором по жизни! 
05:10 Точные прогнозы на футбол 
16:47 Какой фильм вы любите посмотреть перед сном?