Вопрос по роботу.
Страницы: 1
Вопрос по роботу.
Подскажите, что значит:
User-agent: *
Disallow:
Host:мой-сайт.ком
Значит что все роботы могут у Вас сканировать все.
Всю жизнь учусь! И Вам желаю!
Благодарю!
Цитата
Wef пишет:
Значит что все роботы могут у Вас сканировать все.
Это что злая шутка?
Алуксандр, Disalliw - это запретить всем роботам сканировать ваш сайт!
Убирайте скорее эту запись или меняйте на Allow.
Изменено: Smitt&Wesson - 22 Января 2012 10:11
Цитата
Smitt&Wesson пишет:
Это что злая шутка?
Алуксандр, Disalliw - это запретить всем роботам сканировать ваш сайт!
Убирайте скорее эту запись или меняйте на Allow.

Я и предполагал подобное. Это партнерский сайт и их много в сети.
Значит, Вам спасибо!
Цитата
Smitt&Wesson: Это что злая шутка?
Алуксандр, Disalliw - это запретить всем роботам сканировать ваш сайт!
Убирайте скорее эту запись или меняйте на Allow.

Не прикаоывайтесь!
Если не в курсе, почитайте FAQ того же Яндекса:
Цитата
Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /


Первый ответ был абсолютно верным.
Изменено: mozambik - 22 Января 2012 11:06
Цитата
Wef пишет:
Значит что все роботы могут у Вас сканировать все.


Совершенно точно.
User-agent: * -- означает, что сканировать сайт разрешено всем роботам.
Disallow: -- отсутствие параметра показывает роботам отсутствие запретов и разрешение на сканирование всего сайта.
Изменено: Redrik - 22 Января 2012 11:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
05:30 CoinCapital  
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?