Как правильно разрешить сканировать все страницы?
Как правильно разрешить сканировать все страницы?Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели.  Но вот один из моих теперешних клиентов для этого использует команду Allow: / 

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Eye
Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов
а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)
Новые темыОбъявленияСвободное общение
01:09 Работает ли ссылочное продвижение 2019 – 2020? 
19:41 RSS для Майл Пульс, требуется помощь 
18:16 CPA.RU - партнерская сеть с офферами самых различных направлений 
17:40 Формат документа не поддерживается 
17:15 4 декабря АП Выдача | Посещаемость изменилась? 
15:19 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:19 Отзывы на Яндекс Картах 
23:05 Промокод Google Ads на 1500 грн 
21:31 Продам акк Кворк 50 отзывов 
19:37 Продам сайт "Советы старого фарцовщика" 
18:03 Обменник BTC-ECHANGE.SITE. Автоматически, анонимно 
18:03 Продам аккаунт mmgp 
17:21 Скидка 50% на Xrumer до 10 декабря включительно! 
16:52 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 
00:41 500 000 рублей за 1 000 000 просмотров и это не потолок 
00:33 Спасёт ли ссылка на источник? 
20:28 Как создать ярлык для перехода в спящий режим? 
22:02 (затёр) Топ рейтинг сайтов 
18:49 Услуги по внутренней оптимизации сайтов 
18:14 SMTP Для массовой рассылки писем 
18:56 КУПИТЬ XRUMER с 50% скидкой до 10 декабря 2019 года.