Гугл удаляет страницы из поиска
Страницы: 1 2 След.
Гугл удаляет страницы из поиска, Доступ к отправленному URL заблокирован в файле robots.txt
Всем привет!
Есть сайт https://topigr.com
Гугл удаляет страницы из поиска.  Пишет что " Доступ к отправленному URL заблокирован в файле robots.txt "
Удаляет самые хорошие страницы которые в яндексе дают не плохой трафик. 
С яндексом таких проблем нет. Подскажите в чем проблема?

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /xfsearch/
Disallow: */xfsearch*
Disallow: /xfsearch*
Disallow: *xfsearch*
Disallow: /?*

Host: https://topigr.com

Sitemap: https://topigr.com/sitemap.xml

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

А инструмент проверки robots в гугл-вебмастере показывает, что эти страницы доступны или нет?
Если недоступны, будет видно, из-за чего, а если доступны, то скорее всего сообщение про robots нерелевантно, и выкидывает по каким-то другим причинам.

Навскидку этот robots без ошибок, разве что последняя строчка сомнительная, чаще используют Disallow: /*?
Это не должно быть ошибкой, просто во втором варианте отсекается больше дублей. Но точнее скажет гугл-вебмастер.
Показывает что доступны. Сейчас разработчик сайта, посоветовал поменять роботс на этот



User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php?
Disallow: /page/
Disallow: */page/*
Disallow: /page,
Disallow: */page,*
Disallow: *{lostpassword-link}*
Disallow: /print
Disallow: */print,*
Disallow: /print
Disallow: /print:


Host: https://topigr.com 

Sitemap: https://topigr.com/sitemap.xml
Цитата
Олег Мелехин пишет:
Показывает что доступны. Сейчас разработчик сайта, посоветовал поменять роботс на этот
Можно и поменять для спокойствия, но думаю в действительности дело окажется не в роботс. Хотя как в этом убедиться наверняка - не знаю. Может быть можно в техподдержку гугл как-то написать.
Цитата
Sasha Minsky пишет:
Может быть можно в техподдержку гугл как-то написать.
Не знаю. Я не нашел не какой тех поддержки, И вообще говорят с гуглом не возможно связаться!
Вы серьёзно? Т.е. зашедшие в эту тему должны догадаться какие страницы удалил Гугл? Вы бы хоть скинули одну для примера)
Цитата
Сергей пишет:
Вы серьёзно? Т.е. зашедшие в эту тему должны догадаться какие страницы удалил Гугл? Вы бы хоть скинули одну для примера)

[TABLE]

[TR][TD]https://topigr.com/1348-redemption-cemetery-12-the-day-of-the-almost-dead.html



[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/1246-assassins-creed-odyssey.html



[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/1242-yet-another-zombie-defense-hd.html



[/TD][TD]1[/TD][/TR]

[TR][TD]https://topigr.com/316-dead-space-3-ded-speys-3.html



[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/834-i-am-weapon-revival.html



[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/289-this-is-the-police-eto-policiya.html



[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/535-terraria-otherworld-terra-drugoy-mir.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/143-nfs-carbon-skachat.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/810-earthlock-festival-of-magic-festival-magii.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/130-life-is-strange-skachat.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1252-anthem.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/375-the-walking-dead-the-final-season.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/541-routine-rutinnyy.html





[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1052-thea-the-awakening.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1445-ancestors-the-humankind-odyssey.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1444-scavengers.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1446-torchlight-frontiers.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/548-the-walking-dead-episode-1-hodyachie-mertvecy-epizod-1.html



[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1442-mortal-kombat-11.html
[/TD][/TR]

[/TABLE]
У вас вордпресс?
Доступ блокирует когда на обход страницу кидаете?
Сергей, по коду же видно, что это DLE. А дальше заходим на сайт и подтверждаем это.
Цитата
Сергей пишет:
Доступ блокирует когда на обход страницу кидаете?
Нет не блокирует, сначала все обходит, а потом начинает выкидывать стронции.Но сейчас мне помогли, поставил другой роботс. Нужно подождать когда переиндексирует.
Цитата
lol_cp пишет:
Сергей, по коду же видно, что это DLE. А дальше заходим на сайт и подтверждаем это.

Салют! Может и видно, когда с пк смотреть, поэтому спрашиваю)
smile:mad:smile:mad:smile:mad:
Были похожие проблемы и если у вас вордпресс установите плагин гугл сайтемапхмл версии 3.4.1, должно помочь
Цитата
WGN пишет:
Были похожие проблемы и если у вас вордпресс установите плагин гугл сайтемапхмл версии 3.4.1, должно помочь
Нет у меня DLE
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:33 Улучшение параметров скорости сайта 
10:19 Лендинг и СЕО 
09:24 Какие параметры сайта требуются для роста ИКС? 
08:33 Подскажите по Miralinks 
07:41 Kokos.click - народная тизерная сеть! 
05:13 Ссылочное продвижение сайта 2020 
05:07 Крауд-маркетинг — способ продвижения сайта 2020 
09:19 Продажа аккаунтов Яндекс Директ без НДС 
23:35 Продам свежий сайт о путешествиях 
21:50 Продам сайт с уникальным контентом 
21:39 Автореги Mail.ru 2016-2018 г. Большой ассортимент! + Rambler, Yandex, BitcoinTalk 
20:34 Profit-smm.ru - раскрутка в Vk/Inst/Yt/Tg. Подписчики от 11.5р, лайки от 2.4р 
19:47 Надежный и мотивированный дизайнер, который точно не сорвет сроки и сделает круто 
19:41 Копирайтер с 9-летним опытом предлагает свои услуги 
07:59 Минобороны сообщило об успешном испытании вакцины от COVID-19 на обезьянах и хомяках 
01:52 Швеция пожалела о решении не вводить карантин 
00:42 Коронавирус 
00:40 Массовая вакцинация россиян от коронавируса 
18:58 "ВКонтакте" запустил свой аналог TikTok 
15:37 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:01 Сайты лохотроны.