Как правильно разрешить сканировать все страницы?
Как правильно разрешить сканировать все страницы?Оказывается, даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов. Далее – фрагмент диалога с представителем поисковой системы Google на страницах Reddit:

"Подскажите, как правило через файл Robots.txt разрешить тотальное сканирование сайта? Для этой цели лично я всегда оставлял пустой директиву Dissallow: Мне почему-то казалось, что это самый эффективный способ достижения указанной цели.  Но вот один из моих теперешних клиентов для этого использует команду Allow: / 

В этой связи хотелось бы узнать – есть ли разница? Может где-то в правилах Google прописано, какой из названных способов является предпочтительным?"

Ответ всезнающего Джона Мюллера (John Mueller) оказался ожидаемо кратким:

"Нет никакой разницы".

Другими словами, все, что не запрещено в Robots.txt, то автоматически разрешено для сканирования Гуглботом. Используйте ту директиву, которая вам нравится больше всего. Результат должен быть один.

Кстати, при необходимости вы всегда можете совершенно бесплатно воспользоваться нашим генератором Robots.txt.

2 Декабря 2019
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Eye
Цитата
даже этот вопрос может вызывать определенные сомнения в кругу сео-специалистов
а они точно "специалисты"? Я вот себя сеошником никогда считал, но таких вопросов элементарных у меня точно не было... smile:)
Новые темыОбъявленияСвободное общение
03:44 Превышении допустимой нагрузки на сервер 
01:58 Как настроить плавающий блок в мобильной версии РСЯ? 
22:14 Вирусный плагин background-image-cropper (Вордпресс) и файл accesson.php Помогите избавиться 
21:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:00 Lottery Partner в поиске партнеров! Самые высокие ставки! 
10:17 Как снизить расходы до 25% контекст, тизеры, биржи, соц.сети... 
06:45 ClickDealer- свои люди на рынке буржа! 
01:10 Ищем Senior Google Adwords Specialist 
00:02 Продам сайт - coronovirus uz 
23:05 Сео-тексты и информационные статьи по привлекательной цене 
22:12 Оценка домена 
21:57 Качественный копирайт текстов на адалт (порно) тематику 
21:44 Профессиональное ведение каналов в Ютубе, Белое продвижение, Услуги в соц. сетях 
18:47 Индивидуальные IPv4 прокси Европа. 30 р./месяц за 1 штуку 
06:16 Жестко стал тормозить интернет последнюю неделю 
00:46 Конкурс статей XRumer 2020 
14:42 Что с трафиком? 
11:43 Онлайн оплата на сайте 
10:16 Партнерка по торговле акциями КАНнАБИСа, получай кеш с любой сделки. 
10:08 4.04 
21:14 Поздравьте меня. Я купил ссылку с халявной статьёй на ГГЛ за 200 рублей + плюшки!