А для кого/чего собственно создается роботс?
Страницы: 1
А для кого/чего собственно создается роботс?, гугл кладет больт на роботс
Есть небольшой раздельчик на сайте, который не вписывается в концепцию сайта и закрыт в роботс. Все как-то руки не доходят его удалить. Когда-то спамил где попало ссылки на страницу раздела и теперь есть трафик 1-2 посетителя неизвестно откуда. Седня смотрю в серчконсоль - закрытая от индекса страница нен-нет да и показывается гошей и висит сообщение мол ошибка сканирования, страница закрыта в роботсе, но мы всеравно ее проиндексировали, исправьте роботс!
Вот как это понимать? Гоша сам создает инструкции для закрытия страниц от индекса и сам же кладет на них болт! И что интересно, не могу понять откуда переходы, вебвизор показывает прямые заходы.
Так-то мелочь, но бесит!

Бесплатная контекстная реклама

Робота есть рекомендательная инструкция.

Закрывайте в мета.
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Цитата
Сергей пишет:
пихает все без разбора, а потом сам же и жалуется
Шурыгина чёт вспомнилась...
But you see,
it's not me,
it's not my
family
In your head,
in your head
they are fighting
Цитата
Eye пишет:
Шурыгина чёт вспомнилась...

Ахаха, тонко)
Цитата
Сергей пишет:
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Странно, у меня ничего не вылазит (если запрещаю, то не индексится) smile:D
Почему завистники всегда чем-то огорчены? Потому что их снедают не только собственные неудачи, но и успехи других.
Если сайт в гугле на переобход ставите гугло бот определится как пользователь с прямым заходом, со 100% отказом
Хостинг от 6руб в день! https://clck.ru/Rk2P5 Хостинг + Домен в подарок https://clck.ru/Rk2P5 Хостинг - Скидки при оплате за год https://clck.ru/Rk2P5 Хостинг - Месяц в подарок https://clck.ru/Rk2P5
Ну для кого яндекс важнее то и роботс соответственно
К сожалению, даже в справке гугла есть пункт, "Если на страницу заходят/ссылаются, то даже закрытие в роботс не гаранитрует не попадание в индекс". На моей памяти миниум 3 случая, когда приходилось позже удалять urls из выдачи, с помощтю инструмена гугл.
А что если метатегами закрывать индекс?  через тот же донбот, вроде как одно из лучших решений.
Метатеги да, пока еще работают, боты ПС боятся их как черт ладана. smile:sarc:
Робот не часто выплывает
Ахаха, [FONT=Tahoma, Arial, Helvetica, sans-serif]Это очень весело[/FONT]
Вот тут есть информация по запрету на индексирование страниц - https://www.pandoge.com/stati_i_sovety/udalyaem-stranicu-ili-razdel-sayta-s-poiska-google
Самый быстрый хостинг на SSD. Месяц в подарок. Поддержка 24/7. Помощь в переезде.

Передовое сообщество вебмастеров. Тебе к нам!
Артем Малков, Вас, по всей видимости, Coder покусал... smile:D Он тут несколько лет спамил своим сайтом в каждой теме, теперь Вы эстафету переняли? smile:cool:
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
08:17 Выдача 14 апреля | Ссылки в Вебмастере 
20:39 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:57 CPA-сеть MyLead - глобальная монетизация трафика! 
14:27 Ключевое слова в домене может навредить сайту в поиске? 
12:59 Родительская страница получет вес от дочерней? 
12:27 У Яшы обновились данные 12 марта 
09:49 Юридическая Партнерская программа ProfLead 
09:57 [Vn5socks.net] обслуживание Продавец Socks5 Хорошо 
09:56 Продвижение и раскрутка сайтов (Минск, Беларусь) 
09:36 Раскрутка Instagram, YouTube, TikTok, Twitter, Вконтакте, Telegram, Twitch, Likee - smmservis.ru 
08:49 Размещу ссылки/статьи на ваш сайт 
22:39 Нужна оценка сайта перед продажей 
21:44 Самые актуальные и выгодные промокоды Яндекс Директ (Yandex Direct) по низким ценам! 
21:44 Магазин купонов и аккаунтов Google Adwords и яндекс директ 
00:22 "Иронию судьбы" планируют переснять с голливудскими актерами 
00:16 Байден потребовал у конгресса $715 млрд на оборону и сдерживание России. 
12:40 NaZapad — 17-я онлайн-конференция по SEO-продвижению на западных рынках 
22:14 activepr.ru - back-under партнёрка с высокими ценами. 
14:36 Ozon планирует начать выдавать кредиты продавцам 
14:23 Лента.Ру: Ученые назвали укорачивающую жизнь на 28 лет привычку 
23:17 Мошенница Ксения Гущина ksugushinak8@gmail.com ks.guschina@gmail.com ksygushinak 8 911 855 60 37