Как правильно разрешить сканировать все страницы?
Как правильно разрешить сканировать все страницы?Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели.  Но вот один из моих теперешних клиентов для этого использует команду Allow: / 

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Eye
Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов
а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)
Новые темыОбъявленияСвободное общение
13:46 Отсутствует поле "position" в гугл вебмастер. Влияет ли на позиции сайта? 
07:52 Gambling Craft - гемблинг по белому 
01:36 Крауд-маркетинг — способ продвижения сайта 2020 
22:02 Контент в интернет магазине? 
20:17 одинаковые H2 на разных страницах сайта 
18:22 В поиске страниц 0 
20:05 1 июля 2020 АПдейт Яндекс выдача 
12:45 Вечные ссылки и ссылки на мордах 7 строительных сайтах Без Бирж 
11:32 Размещу анкорные Трастовые ссылки на ваш сайт с ИКС от 10. 
11:02 Размещу 30001 ссылку на Ваш сайт с профилей + Бонус 
08:37 Магазин доменов 1domen.com 
17:13 Веб-мастер. Создаю сайты "под ключ" 
15:17 200 открытых анкорных ссылок всего за 100 рублей 
13:11 Pinflux2Pro -супер мощный комбайн для Pinterest | Работает на полном автомате. 
18:20 Я отходил от компьютера 
17:18 Ваш сайт блокируют гос органы? Есть решение! 
16:43 Проблема с адсенс 
01:29 форекс 
21:58 МТС нехорошие люди 
18:02 Leadnik.ru - партнерская программа, созданная для реализации ваших лидов. 
17:59 Повышение ИКС сайта - мое наблюдение