Правильно ли составлен robots.txt
Страницы: Пред. 1 2 3
Правильно ли составлен robots.txt
Цитата
Дмитрий пишет:
Цитата
aaliseyko пишет:

Disallow, которая была изначально, Allow - совсем молоденькая.


Они появились в один день, были описаны в одной спецификации. Вы бред несёте, правда.


Если можно, ссылку на источник.
На сколько мне известно, первоначальная редакция спецификации 94-го года включала в себя всего 2 директивы: User-Agent и Disallow.
Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/
Цитата
aaliseyko пишет:
Если можно, ссылку на источник.


Если нужно поищите. Мне это зачем?
Заработок на новых сайтах и нулевиках.

Професиональный хостинг
В том то и дело, то не нашел вашего варианта развития событий, а именно одновременного "образования" директив allow и disallow. И только укрепился в знании, что disallow, много старше, чем allow.

Это ни как не стыкуется вашим с упреком меня в дезинформации... Вот и хочется разобраться: что было раньше "курица или яйцо".
Цитата
aaliseyko пишет:
том то и дело, то не нашел вашего варианта развития событий, а именно одновременного "образования" директив allow и disallow


Ну вот на это событие укажите.
Цитата
aaliseyko пишет:
В том то и дело,

Цитата
aaliseyko пишет:
Это ни как не стыкуется вашим с упреком меня в дезинформации...

Мы тут новичков с такими упрёками в месяц видим десяток другой, которые приходят за советом, но потом им надо доказывать, всё выкладывать, что люди тратят некоторое время для сбора и обработки данных, а новичок приходит и ему всё выложи за красивые глазки, хотя нет, мы ведь даже глаз Ваших не видим.
aaliseyko, а какая принципиальная разница? Allow это вообше не очень потребная дирректива, она смысл то имеет, если нужно запретить большой раздел и при этом дать доступ нескольким путям.
таки рудокоп я smile:)

http://www.robotstxt.org/norobots-rfc.txt - ссылка на спецификацию (точнее черновик чего-то) 1996 года. Allow есть, была ли она раньше - вычитывать лень.

@Semantic,
Цитата
Semantic пишет:
aaliseyko, а какая принципиальная разница? Allow это вообше не очень потребная дирректива, она смысл то имеет, если нужно запретить большой раздел и при этом дать доступ нескольким путям.

Я именно об этом и говорю.

@Prapovednik,
Цитата
Prapovednik пишет:
Мы тут новичков с такими упрёками в месяц видим десяток другой, которые приходят за советом, но потом им надо доказывать, всё выкладывать, что люди тратят некоторое время для сбора и обработки данных, а новичок приходит и ему всё выложи за красивые глазки, хотя нет, мы ведь даже глаз Ваших не видим.

Если уж на то пошло, то я вообще ни о чем не спрашивал, скорее наоборот. Так что, чуть полегче на поворотах.

По большому счету - суть не в упреках. Просто, вопрос сам по себе показался мне интересным - для общего развития, не более, сами директивы я отлично представляю: и для чего, и зачем, и когда. Если кому-то все равно - просто мимо идем. Я не навязываю.
Изменено: aaliseyko - 22 Декабря 2010 22:29
Цитата
aaliseyko пишет:
Если уж на то пошло, то я вообще ни о чем не спрашивал, скорее наоборот.

А Вы не делайте акцент на то, что задали вопрос, а на то, что Вам нужны подтверждения, да ещё от Старожилы, а потом в ответ упрёки.
Вам тут ни кто и не чего не должен доказывать.
Цитата
aaliseyko пишет:
ссылка на спецификацию 1996 года. Allow есть, была ли она раньше - вычитывать лень.


Сами себе ответили на предъявы.
Если можно, без "предъяв". Уж не школьник давно и подобное отношение... гм.. в общем, я вежливо попросил.

А так, нет, пока не ответил. Хотя, что-то и прояснилось.
Цитата
aaliseyko пишет:
Если можно, без "предъяв".

Я это по отношению к себе имел ввиду smile;) Давайте не будем здесь песочницу разводить, я вижу Вы и сами к этому не склонны. А споры они всегда есть, просто желательно их вести в рамках норм уважения.
OK. Коль уж вышли за рамки дискуссии заданной ТС, надо прекращать.
Недавно я писал пост на эту тему: Robots.txt и как его создать

Может кому-нибудь пригодится =)
Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance
Цитата
Euro пишет:
Недавно я писал пост на эту тему


404 вылетает.
Страницы: Пред. 1 2 3
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:44 Стоит ли заморачиваться с мейл ру ? 
17:17 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 
12:12 Robots txt 
15:01 Раскрутка форума 
08:42 Трафик в минус, соцсети в топе - Завершено февральское обновление Google Discover 
20:08 че по ПФ щас реально работает?? (кроме старья) 
16:52 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:21 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
15:53 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
13:00 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
10:46 Мониторинг обменников Сrypto-scout.io 
08:50 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:52 Mixmasters - Exchange without AML and KYC 
19:36 [Comcash.io] Анонимный обмен и чистка крипты без AML/KYC 
20:31 молодильные яблоки и живая вода 
19:29 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
15:35 Куплю проигрышные букмекерские аккаунты 
12:34 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
10:34 Панель Кнопки соцсетей 
22:25 Ставки на супер тренды в спорте 
21:13 Точные прогнозы на футбол