В том то и дело, то не нашел вашего варианта развития событий, а именно одновременного "образования" директив allow и disallow. И только укрепился в знании, что disallow, много старше, чем allow.

Это ни как не стыкуется вашим с упреком меня в дезинформации... Вот и хочется разобраться: что было раньше "курица или яйцо".

Цитата
aaliseyko пишет: В том то и дело,

Цитата
aaliseyko пишет: Это ни как не стыкуется вашим с упреком меня в дезинформации...

Мы тут новичков с такими упрёками в месяц видим десяток другой, которые приходят за советом, но потом им надо доказывать, всё выкладывать, что люди тратят некоторое время для сбора и обработки данных, а новичок приходит и ему всё выложи за красивые глазки, хотя нет, мы ведь даже глаз Ваших не видим.

таки рудокоп я

http://www.robotstxt.org/norobots-rfc.txt - ссылка на спецификацию (точнее черновик чего-то) 1996 года. Allow есть, была ли она раньше - вычитывать лень.

@Semantic,

Цитата
Semantic пишет: aaliseyko, а какая принципиальная разница? Allow это вообше не очень потребная дирректива, она смысл то имеет, если нужно запретить большой раздел и при этом дать доступ нескольким путям.

Я именно об этом и говорю.

@Prapovednik,

Цитата
Prapovednik пишет: Мы тут новичков с такими упрёками в месяц видим десяток другой, которые приходят за советом, но потом им надо доказывать, всё выкладывать, что люди тратят некоторое время для сбора и обработки данных, а новичок приходит и ему всё выложи за красивые глазки, хотя нет, мы ведь даже глаз Ваших не видим.

Если уж на то пошло, то я вообще ни о чем не спрашивал, скорее наоборот. Так что, чуть полегче на поворотах.

По большому счету - суть не в упреках. Просто, вопрос сам по себе показался мне интересным - для общего развития, не более, сами директивы я отлично представляю: и для чего, и зачем, и когда. Если кому-то все равно - просто мимо идем. Я не навязываю.

Цитата
aaliseyko пишет: ссылка на спецификацию 1996 года. Allow есть, была ли она раньше - вычитывать лень.

Сами себе ответили на предъявы.

Цитата
aaliseyko пишет: Если можно, без "предъяв".

Я это по отношению к себе имел ввиду Давайте не будем здесь песочницу разводить, я вижу Вы и сами к этому не склонны. А споры они всегда есть, просто желательно их вести в рамках норм уважения.

Недавно я писал пост на эту тему: Robots.txt и как его создать

Может кому-нибудь пригодится =)