Гугл удаляет страницы из поиска

Гугл удаляет страницы из поиска, Доступ к отправленному URL заблокирован в файле robots.txt

Сообщений: 92 Регистрация: Сен 2017

20 Декабря 2018 13:23

Всем привет!
Есть сайт https://topigr.com
Гугл удаляет страницы из поиска. Пишет что " Доступ к отправленному URL заблокирован в файле robots.txt "
Удаляет самые хорошие страницы которые в яндексе дают не плохой трафик.
С яндексом таких проблем нет. Подскажите в чем проблема?

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /blocks/
Disallow: */page/*
Disallow: /page*
Disallow: /xfsearch/
Disallow: */xfsearch*
Disallow: /xfsearch*
Disallow: *xfsearch*
Disallow: /?*

Host: https://topigr.com

Sitemap: https://topigr.com/sitemap.xml

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

20 Декабря 2018 14:21

А инструмент проверки robots в гугл-вебмастере показывает, что эти страницы доступны или нет?
Если недоступны, будет видно, из-за чего, а если доступны, то скорее всего сообщение про robots нерелевантно, и выкидывает по каким-то другим причинам.

Навскидку этот robots без ошибок, разве что последняя строчка сомнительная, чаще используют Disallow: /*?
Это не должно быть ошибкой, просто во втором варианте отсекается больше дублей. Но точнее скажет гугл-вебмастер.

Олег Мелехин

Сообщений: 92 Регистрация: Сен 2017

20 Декабря 2018 14:26

Показывает что доступны. Сейчас разработчик сайта, посоветовал поменять роботс на этот

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php?
Disallow: /page/
Disallow: */page/*
Disallow: /page,
Disallow: */page,*
Disallow: *{lostpassword-link}*
Disallow: /print
Disallow: */print,*
Disallow: /print
Disallow: /print:

Host: https://topigr.com

Sitemap: https://topigr.com/sitemap.xml

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

20 Декабря 2018 14:37

Цитата
Олег Мелехин пишет: Показывает что доступны. Сейчас разработчик сайта, посоветовал поменять роботс на этот

Можно и поменять для спокойствия, но думаю в действительности дело окажется не в роботс. Хотя как в этом убедиться наверняка - не знаю. Может быть можно в техподдержку гугл как-то написать.

Олег Мелехин

Сообщений: 92 Регистрация: Сен 2017

20 Декабря 2018 14:41

Цитата
Sasha Minsky пишет: Может быть можно в техподдержку гугл как-то написать.

Не знаю. Я не нашел не какой тех поддержки, И вообще говорят с гуглом не возможно связаться!

Сергей

Сообщений: 291 Регистрация: Июн 2014

20 Декабря 2018 23:36

Вы серьёзно? Т.е. зашедшие в эту тему должны догадаться какие страницы удалил Гугл? Вы бы хоть скинули одну для примера)

Олег Мелехин

Сообщений: 92 Регистрация: Сен 2017

21 Декабря 2018 01:52

Цитата
Сергей пишет: Вы серьёзно? Т.е. зашедшие в эту тему должны догадаться какие страницы удалил Гугл? Вы бы хоть скинули одну для примера)

[TABLE]

[TR][TD]https://topigr.com/1348-redemption-cemetery-12-the-day-of-the-almost-dead.html

[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/1246-assassins-creed-odyssey.html

[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/1242-yet-another-zombie-defense-hd.html

[/TD][TD]1[/TD][/TR]

[TR][TD]https://topigr.com/316-dead-space-3-ded-speys-3.html

[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/834-i-am-weapon-revival.html

[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/289-this-is-the-police-eto-policiya.html

[/TD][TD]
[/TD][/TR]

[TR][TD]https://topigr.com/535-terraria-otherworld-terra-drugoy-mir.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/143-nfs-carbon-skachat.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/810-earthlock-festival-of-magic-festival-magii.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/130-life-is-strange-skachat.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1252-anthem.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/375-the-walking-dead-the-final-season.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/541-routine-rutinnyy.html




[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1052-thea-the-awakening.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1445-ancestors-the-humankind-odyssey.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1444-scavengers.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1446-torchlight-frontiers.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/548-the-walking-dead-episode-1-hodyachie-mertvecy-epizod-1.html

[/TD][TD]

[/TD][/TR]

[TR][TD]https://topigr.com/1442-mortal-kombat-11.html
[/TD][/TR]

[/TABLE]

Сергей

Сообщений: 291 Регистрация: Июн 2014

21 Декабря 2018 20:16

У вас вордпресс?

Сергей

Сообщений: 291 Регистрация: Июн 2014

21 Декабря 2018 20:18

Доступ блокирует когда на обход страницу кидаете?

lol_cp

Сообщений: 4751 Регистрация: Май 2012

#10

21 Декабря 2018 21:17

Сергей, по коду же видно, что это DLE. А дальше заходим на сайт и подтверждаем это.

SEO ПРОДВИЖЕНИЕ САЙТА В ЯНДЕКСБ ГУГЛЕ. SEO АУДИТ, ПОДНЯТЬ ИКС САЙТУ. * ПЕРЕД ЗАКАЗОМ УСЛУГИ, ОЗНАКОМИТЬСЯ FAQ

Олег Мелехин

Сообщений: 92 Регистрация: Сен 2017

#11

21 Декабря 2018 21:25

Цитата
Сергей пишет: Доступ блокирует когда на обход страницу кидаете?

Нет не блокирует, сначала все обходит, а потом начинает выкидывать стронции.Но сейчас мне помогли, поставил другой роботс. Нужно подождать когда переиндексирует.

Сергей

Сообщений: 291 Регистрация: Июн 2014

#12

21 Декабря 2018 22:32

Цитата
lol_cp пишет: Сергей, по коду же видно, что это DLE. А дальше заходим на сайт и подтверждаем это.

Салют! Может и видно, когда с пк смотреть, поэтому спрашиваю)

Chemko

Сообщений: 2 Регистрация: Дек 2018

#13

22 Декабря 2018 10:01

WGN

Сообщений: 9905 Регистрация: Июн 2015

#14

22 Декабря 2018 16:49

Были похожие проблемы и если у вас вордпресс установите плагин гугл сайтемапхмл версии 3.4.1, должно помочь

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Олег Мелехин

Сообщений: 92 Регистрация: Сен 2017

#15

22 Декабря 2018 17:25

Цитата
WGN пишет: Были похожие проблемы и если у вас вордпресс установите плагин гугл сайтемапхмл версии 3.4.1, должно помочь

Нет у меня DLE

Похожие темы:

27.03.2025 02:48	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Какую выбрать тему/нишу для сайта?	22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:11 Обменник криптовалюты OnlyCrypto 17:56 Услуга: Поведенческие факторы (ПФ) для Авито 17:31 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 16:51 JustProxy.Biz - Резидентные прокси без ограничения по трафику 10:23 GoodsMoney.io 10:16 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика	14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 20:17 Точные прогнозы на футбол 12:23 150+ хакерских поисковых систем и инструментов 08:38 Накрутка поисковых подсказок 17:41 Стряхнуть обыденность - об Агасфере 10:54 Добро пожаловать в цифровой мир...