А для кого/чего собственно создается роботс?
Страницы: 1
А для кого/чего собственно создается роботс?, гугл кладет больт на роботс
Есть небольшой раздельчик на сайте, который не вписывается в концепцию сайта и закрыт в роботс. Все как-то руки не доходят его удалить. Когда-то спамил где попало ссылки на страницу раздела и теперь есть трафик 1-2 посетителя неизвестно откуда. Седня смотрю в серчконсоль - закрытая от индекса страница нен-нет да и показывается гошей и висит сообщение мол ошибка сканирования, страница закрыта в роботсе, но мы всеравно ее проиндексировали, исправьте роботс!
Вот как это понимать? Гоша сам создает инструкции для закрытия страниц от индекса и сам же кладет на них болт! И что интересно, не могу понять откуда переходы, вебвизор показывает прямые заходы.
Так-то мелочь, но бесит!

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Робота есть рекомендательная инструкция.

Закрывайте в мета.
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Цитата
Сергей пишет:
пихает все без разбора, а потом сам же и жалуется
Шурыгина чёт вспомнилась...
Кому-нибудь другому очень просто рассказать, как надо жить и что делать. Я бы любому все объяснил. И даже показал бы, к каким огням лететь и как. А если то же самое надо делать самому, сидишь на месте или летишь совсем в другую сторону. © В. П.
Цитата
Eye пишет:
Шурыгина чёт вспомнилась...

Ахаха, тонко)
Цитата
Сергей пишет:
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Странно, у меня ничего не вылазит (если запрещаю, то не индексится) smile:D
Запомни эту простую фразу – всё будет, но не сразу.
Если сайт в гугле на переобход ставите гугло бот определится как пользователь с прямым заходом, со 100% отказом
Ну для кого яндекс важнее то и роботс соответственно
К сожалению, даже в справке гугла есть пункт, "Если на страницу заходят/ссылаются, то даже закрытие в роботс не гаранитрует не попадание в индекс". На моей памяти миниум 3 случая, когда приходилось позже удалять urls из выдачи, с помощтю инструмена гугл.
А что если метатегами закрывать индекс?  через тот же донбот, вроде как одно из лучших решений.
Метатеги да, пока еще работают, боты ПС боятся их как черт ладана. smile:sarc:
Робот не часто выплывает
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:53 мой сайт в рекламе Адсенса? 
00:24 АП выдача 17.11 | Дмитрий Галахов: "У тебя (SEO BOSS - прим.ред.) уж наверн лям уников в день, каждый ап для тебя в плюс" 
22:30 Нужна помощь с vbulletin 
19:34 Быстрое продвижение 
16:34 Ваша любимая биржа 
11:10 Сколько внутренних ссылок максимально может быть на странице 
10:01 Где приобрести живых подписчиков на ЮТУБ без списаний? 
23:31 Софты для обработки RDP+ Покупка дедиков!!! 
22:34 Софт на заказ 
22:22 Продам ссылки с трастовых сайтов более 500 площадок 
22:09 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
18:41 Создание сайтов и верстка 
18:36 Написание информационных статей и новостей для сайтов 
14:03 Продвижение в соц. сетях: ВК, Одноклассники, Instagram, Twitter, Facebook, YouTube 
01:12 Как вывести рекламный банер в боковой колонке? 
22:40 Кидок 
22:24 Стоит ли играть в казино? 
19:55 Продаю крупные аккаунты в Инстаграме (дешево) 
17:13 О подлости 
00:40 Скрины спама 
00:14 Заходишь на форум в час ночи по МСК и понимаешь