А для кого/чего собственно создается роботс?
Страницы: 1
А для кого/чего собственно создается роботс?, гугл кладет больт на роботс
Есть небольшой раздельчик на сайте, который не вписывается в концепцию сайта и закрыт в роботс. Все как-то руки не доходят его удалить. Когда-то спамил где попало ссылки на страницу раздела и теперь есть трафик 1-2 посетителя неизвестно откуда. Седня смотрю в серчконсоль - закрытая от индекса страница нен-нет да и показывается гошей и висит сообщение мол ошибка сканирования, страница закрыта в роботсе, но мы всеравно ее проиндексировали, исправьте роботс!
Вот как это понимать? Гоша сам создает инструкции для закрытия страниц от индекса и сам же кладет на них болт! И что интересно, не могу понять откуда переходы, вебвизор показывает прямые заходы.
Так-то мелочь, но бесит!
Робота есть рекомендательная инструкция.

Закрывайте в мета.
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуется:). Можно также через консоль ее удалить/скрыть.
Цитата
Сергей пишет:
пихает все без разбора, а потом сам же и жалуется
Шурыгина чёт вспомнилась...
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Eye пишет:
Шурыгина чёт вспомнилась...

Ахаха, тонко)
Цитата
Сергей пишет:
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуется:). Можно также через консоль ее удалить/скрыть.
Странно, у меня ничего не вылазит (если запрещаю, то не индексится) smile:D
Почему завистники всегда чем-то огорчены? Потому что их снедают не только собственные неудачи, но и успехи других.
Если сайт в гугле на переобход ставите гугло бот определится как пользователь с прямым заходом, со 100% отказом
Ну для кого яндекс важнее то и роботс соответственно
К сожалению, даже в справке гугла есть пункт, "Если на страницу заходят/ссылаются, то даже закрытие в роботс не гаранитрует не попадание в индекс". На моей памяти миниум 3 случая, когда приходилось позже удалять urls из выдачи, с помощтю инструмена гугл.
А что если метатегами закрывать индекс?  через тот же донбот, вроде как одно из лучших решений.
Метатеги да, пока еще работают, боты ПС боятся их как черт ладана. smile:sarc:
Робот не часто выплывает
Ахаха, [FONT=Tahoma, Arial, Helvetica, sans-serif]Это очень весело[/FONT]
Вот тут есть информация по запрету на индексирование страниц - https://www.pandoge.com/stati_i_sovety/udalyaem-stranicu-ili-razdel-sayta-s-poiska-google
Самый быстрый хостинг на SSD. Месяц в подарок. Поддержка 24/7. Помощь в переезде.

Передовое сообщество вебмастеров. Тебе к нам!
Артем Малков, Вас, по всей видимости, Coder покусал... smile:D Он тут несколько лет спамил своим сайтом в каждой теме, теперь Вы эстафету переняли? smile:cool:
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:55 Яндекс прекращает поддержку технологии Турбо 
16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
16:38 ру гембла 
10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
09:06 Бесплатные посещения 
01:10 Adsense личный опыт 
22:07 Помогите найти шаблон 
11:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
19:14 Анализ курсов и недежности обменников - Kurs.Expert 
18:02 Новый обменный сервис «Money-office» 
16:31 Качественные услуги по телеграм (инвайт, рассылка)(Invite, mailing list) 
07:12 Точные прогнозы на футбол 
00:55 С юмором по жизни! 
10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 
21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet