Гугл не видит роботс
Страницы: 1
Гугл не видит роботс
Вобщем ничего не менял,ничего не делал просто захожу в вебинструменты а там вот такая ошибка.
Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.
с яндексом всё в порядке,ошибка эта примерно дней 10 уже,страницы вроде как сканирует,но в десятки раз меньше чем раньше,смотрел как гугл бот тоже всё в норме,но ошибка не пропадает...
Вот роботс
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /xfsearch/
Host: 
sitemap: /sitemap.xml
Повторюсь ещё раз,раньше всё было нормально (роботс не трогал)
Изменено: 0Bk03 - 1 Мая 2013 16:01
Цитата
0Bk03 пишет:
Host:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.
Host и sitemap заполнен,я просто убрал название сайта в нём!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)но проиндексировало,потом поставил роботс опять ошибка,пробовал закрывать метатэгами и роботс сделать минимальным,но что-товидимо не так сделал и опять проиндексировало мусор!
Вообщем роботс убераю всё хорошо,как только ставлю всё плохо.Не пойму в чём дело, ведь раньше всё было нормально.smile:wall:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.
Цитата
Coder пишет:
Попробуйте заполнить. Или для проверки вообще роботс пустой поставьте.


Цитата
0Bk03 пишет:
!Пустой роботс пробовал проиндексировало 1500 страниц мусора=)


Цитата
Алексей SP пишет:
что то я не пойму в чем проблема: не видит роботса или индексит мусор?
Проблема в том что не видит роботс
Изменено: 0Bk03 - 1 Мая 2013 17:39
Цитата
0Bk03 пишет:
sitemap: /sitemap.xml
Полный путь укажите.

Цитата
0Bk03 пишет:
Пустой роботс пробовал проиндексировало 1500 страниц мусора=
таки видит.
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
Цитата
Coder пишет:
Полный путь укажите.
Путь указан,я убрал название сайта и sitemap.

Цитата
Александр Вашкевич пишет:
0Bk03, может, Ваш сайт периодически падает и робот не может попасть на него?
нет,сайт не падает,я даже хостинг сменил,но ошибка всё равно не пропадает.Незнаю что делать
Может быть, у вас мета тег для роботов стоит?
стоит только на страницах,которые нужно скрыть от индексации,но он почему-то не работает и роботс не работает,только что ещё 1500 дублей проиндексировало:wall:Роботс запрещает индексацию,но почему-то не всех страниц.
вот некоторые из них:

/page/12/
/page/13/
/page/20/
/page/20/[xfvalue_imdb]
/page/23/
/page/24/
/page/27/
/page/28/
/page/30/
/page/41/
/page/42/
/page/43/
/page/44/
/page/51/
/page/52/
В роботсе прописано Disallow: /page/ + эти страницы закрыты метатэгом <meta name="robots" content="noindex,nofollow" />
В чём дело не пойму
Изменено: 0Bk03 - 2 Мая 2013 19:40
А вы проверьте, есть ли эти страницы в выдаче. То, что Гугл их добавил в свою базу, еще не значит, что они присутствуют в индексе.
Проверил,в выдаче они есть,на некоторых написано Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Но написано это не на всех страницах и Повторяющееся метаописание растет с каждым днём и почему то не пропадает ошибка в гугл веб инмтрументах:confused:
Когда проверяю роботс в вебмастере,то страницы вида page запрещенны в индекс,а страницы ввида /fentezi/page/7/ разрешенно для индексации,но почему?в роботсе же запрещены все page или нужно уточнять какие именно?
Изменено: 0Bk03 - 2 Мая 2013 21:31
Может у кого-то ещё есть мнения?в частности интересует почему страницы с категорией не закрываются в роботс
Пример  /fentezi/page/7/ при проверке,показывает статус разрешенно к индексации,но page закрыт в роботс
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
18:38 Продажа аккаунтов HH.RU 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
10:46 Linken Sphere – браузер-антидетект нового поколения 
05:06 CoinCapital  
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь