Как правильно разрешить сканировать все страницы?

Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели. Но вот один из моих теперешних клиентов для этого использует команду Allow: /

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии: 1

Возврат к списку

Комментарии пользователей:

Это нравится:0 Да/0 Нет

Eye 2 Декабря 2019

Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов

а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)

Новые темы	Объявления	Свободное общение
03:44 Превышении допустимой нагрузки на сервер 01:58 Как настроить плавающий блок в мобильной версии РСЯ? 22:14 Вирусный плагин background-image-cropper (Вордпресс) и файл accesson.php Помогите избавиться 21:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:00 Lottery Partner в поиске партнеров! Самые высокие ставки! 10:17 Как снизить расходы до 25% контекст, тизеры, биржи, соц.сети... 06:45 ClickDealer- свои люди на рынке буржа!	01:10 Ищем Senior Google Adwords Specialist 00:02 Продам сайт - coronovirus uz 23:05 Сео-тексты и информационные статьи по привлекательной цене 22:12 Оценка домена 21:57 Качественный копирайт текстов на адалт (порно) тематику 21:44 Профессиональное ведение каналов в Ютубе, Белое продвижение, Услуги в соц. сетях 18:47 Индивидуальные IPv4 прокси Европа. 30 р./месяц за 1 штуку	06:16 Жестко стал тормозить интернет последнюю неделю 00:46 Конкурс статей XRumer 2020 14:42 Что с трафиком? 11:43 Онлайн оплата на сайте 10:16 Партнерка по торговле акциями КАНнАБИСа, получай кеш с любой сделки. 10:08 4.04 21:14 Поздравьте меня. Я купил ссылку с халявной статьёй на ГГЛ за 200 рублей + плюшки!