Как правильно разрешить сканировать все страницы?

Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели. Но вот один из моих теперешних клиентов для этого использует команду Allow: /

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии: 1

Возврат к списку

Комментарии пользователей:

Это нравится:0 Да/0 Нет

Eye 2 Декабря 2019

Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов

а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)

Новые темы	Объявления	Свободное общение
13:46 Отсутствует поле "position" в гугл вебмастер. Влияет ли на позиции сайта? 07:52 Gambling Craft - гемблинг по белому 01:36 Крауд-маркетинг — способ продвижения сайта 2020 22:02 Контент в интернет магазине? 20:17 одинаковые H2 на разных страницах сайта 18:22 В поиске страниц 0 20:05 1 июля 2020 АПдейт Яндекс выдача	12:45 Вечные ссылки и ссылки на мордах 7 строительных сайтах Без Бирж 11:32 Размещу анкорные Трастовые ссылки на ваш сайт с ИКС от 10. 11:02 Размещу 30001 ссылку на Ваш сайт с профилей + Бонус 08:37 Магазин доменов 1domen.com 17:13 Веб-мастер. Создаю сайты "под ключ" 15:17 200 открытых анкорных ссылок всего за 100 рублей 13:11 Pinflux2Pro -супер мощный комбайн для Pinterest \| Работает на полном автомате.	18:20 Я отходил от компьютера 17:18 Ваш сайт блокируют гос органы? Есть решение! 16:43 Проблема с адсенс 01:29 форекс 21:58 МТС нехорошие люди 18:02 Leadnik.ru - партнерская программа, созданная для реализации ваших лидов. 17:59 Повышение ИКС сайта - мое наблюдение