Как правильно разрешить сканировать все страницы?

Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели. Но вот один из моих теперешних клиентов для этого использует команду Allow: /

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии: 1

Возврат к списку

Комментарии пользователей:

Это нравится:0 Да/0 Нет

Eye 2 Декабря 2019

Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов

а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)

Новые темы	Объявления	Свободное общение
01:09 Работает ли ссылочное продвижение 2019 – 2020? 19:41 RSS для Майл Пульс, требуется помощь 18:16 CPA.RU - партнерская сеть с офферами самых различных направлений 17:40 Формат документа не поддерживается 17:15 4 декабря АП Выдача \| Посещаемость изменилась? 15:19 Adtrafico - Правильная партнёрская сеть под бурж трафик 14:19 Отзывы на Яндекс Картах	23:05 Промокод Google Ads на 1500 грн 21:31 Продам акк Кворк 50 отзывов 19:37 Продам сайт "Советы старого фарцовщика" 18:03 Обменник BTC-ECHANGE.SITE. Автоматически, анонимно 18:03 Продам аккаунт mmgp 17:21 Скидка 50% на Xrumer до 10 декабря включительно! 16:52 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов)	00:41 500 000 рублей за 1 000 000 просмотров и это не потолок 00:33 Спасёт ли ссылка на источник? 20:28 Как создать ярлык для перехода в спящий режим? 22:02 (затёр) Топ рейтинг сайтов 18:49 Услуги по внутренней оптимизации сайтов 18:14 SMTP Для массовой рассылки писем 18:56 КУПИТЬ XRUMER с 50% скидкой до 10 декабря 2019 года.