А для кого/чего собственно создается роботс?
Страницы: 1 2 След.
А для кого/чего собственно создается роботс?, гугл кладет больт на роботс
Есть небольшой раздельчик на сайте, который не вписывается в концепцию сайта и закрыт в роботс. Все как-то руки не доходят его удалить. Когда-то спамил где попало ссылки на страницу раздела и теперь есть трафик 1-2 посетителя неизвестно откуда. Седня смотрю в серчконсоль - закрытая от индекса страница нен-нет да и показывается гошей и висит сообщение мол ошибка сканирования, страница закрыта в роботсе, но мы всеравно ее проиндексировали, исправьте роботс!
Вот как это понимать? Гоша сам создает инструкции для закрытия страниц от индекса и сам же кладет на них болт! И что интересно, не могу понять откуда переходы, вебвизор показывает прямые заходы.
Так-то мелочь, но бесит!

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Робота есть рекомендательная инструкция.

Закрывайте в мета.
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Цитата
Сергей пишет:
пихает все без разбора, а потом сам же и жалуется
Шурыгина чёт вспомнилась...
Кому-нибудь другому очень просто рассказать, как надо жить и что делать. Я бы любому все объяснил. И даже показал бы, к каким огням лететь и как. А если то же самое надо делать самому, сидишь на месте или летишь совсем в другую сторону. © В. П.
Цитата
Eye пишет:
Шурыгина чёт вспомнилась...

Ахаха, тонко)
Цитата
Сергей пишет:
Тоже в этом плане Гугл бесит, пихает все без разбора, а потом сам же и жалуетсяsmile:). Можно также через консоль ее удалить/скрыть.
Странно, у меня ничего не вылазит (если запрещаю, то не индексится) smile:D
Запомни эту простую фразу – всё будет, но не сразу.
Если сайт в гугле на переобход ставите гугло бот определится как пользователь с прямым заходом, со 100% отказом
Ну для кого яндекс важнее то и роботс соответственно
К сожалению, даже в справке гугла есть пункт, "Если на страницу заходят/ссылаются, то даже закрытие в роботс не гаранитрует не попадание в индекс". На моей памяти миниум 3 случая, когда приходилось позже удалять urls из выдачи, с помощтю инструмена гугл.
А что если метатегами закрывать индекс?  через тот же донбот, вроде как одно из лучших решений.
Метатеги да, пока еще работают, боты ПС боятся их как черт ладана. smile:sarc:
Робот не часто выплывает
Ахаха, [FONT=Tahoma, Arial, Helvetica, sans-serif]Это очень весело[/FONT]
Вот тут есть информация по запрету на индексирование страниц - https://www.pandoge.com/stati_i_sovety/udalyaem-stranicu-ili-razdel-sayta-s-poiska-google
Самый быстрый хостинг на SSD. Месяц в подарок. Поддержка 24/7. Помощь в переезде.

Массовая проверка ИКС - бесплатно!
Артем Малков, Вас, по всей видимости, Coder покусал... smile:D Он тут несколько лет спамил своим сайтом в каждой теме, теперь Вы эстафету переняли? smile:cool:
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:18 Черновик записи Вордпресс перестал сохранять 
23:59 Даёшь новый Апдейт! Яндекс выдача 21.03.2019 
23:04 Продвижения страниц с символами ? и = в url 
22:13 22 марта 2019 | Текстовый апдейт: выложен индекс по 18 марта 2019 
18:16 Написание анкорной ссылки в склоненном виде. Как правильно? 
16:59 Как продвинуть сайт копию 
16:21 Не могу понять, что не так с сайтом 
10:30 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 
21:30 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+ 
21:04 Вывод в “В тренды” по РФ на YouTube 
21:04 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
18:13 Дизайн / вертка / программирование / модули DLE 
15:49 Content-CMS v4 генератор сайтов, партнерских магазинов под CPA. 
14:30 Профессиональное ведение каналов в Ютубе, Белое продвижение, Услуги в соц. сетях 
12:34 23 марта - всемирный день метеорологии 
04:08 Finaff становится открытой партнёркой! 
22:00 Бесплатно за отзыв можем сделать 1 услугу в соц сетях 
13:06 НУЖЕН фотошопер для создание 2х картинок для ВК 
13:03 Правообладатели - как закрыть доступ 
23:41 Детство и спорт 
20:27 БЕСПЛАТНО предлагаю статьи для гостевого постинга