Как правильно разрешить сканировать все страницы?
Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели. Но вот один из моих теперешних клиентов для этого использует команду Allow: /
В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"
Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:
"Нет никакой разницы".
Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.
Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.
2 Декабря 2019
Комментарии: 1
 | ||
 | ||
Апдейты
- Яндекс ИКС
27.12.2019 (25 дней назад) - Яндекс выдача
20.01.2020 (вчера)
Доска объявлений
Купить / Продать
Работа / Услуги
Интересные темы
Интернет новости
Инструменты
Разделы