Как правильно разрешить сканировать все страницы?

Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели. Но вот один из моих теперешних клиентов для этого использует команду Allow: /

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии: 1

Возврат к списку

Комментарии пользователей:

Eye 2 Декабря 2019

Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов

а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)

Новые темы	Объявления	Свободное общение
14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Какую выбрать тему/нишу для сайта?	19:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки 15:45 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:11 Обменник криптовалюты OnlyCrypto 17:56 Услуга: Поведенческие факторы (ПФ) для Авито 17:31 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 16:51 JustProxy.Biz - Резидентные прокси без ограничения по трафику	05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 12:23 150+ хакерских поисковых систем и инструментов 08:38 Накрутка поисковых подсказок 17:41 Стряхнуть обыденность - об Агасфере 10:54 Добро пожаловать в цифровой мир...