Правильно ли составлен robots.txt
Страницы: Пред. 1 2 3 След.
Правильно ли составлен robots.txt
А если прописать
Цитата
Disallow: /

И ветки, которые должны индексироваться, в таком случае роботс будет корректным?
Есть поздравительный сайт? Заработай на нем!
Я бы вообще инструкцию Allow не рекомендовал... Исключить ее как класс и все. smile:)

Поисковик и так заберет все, что найдет. Для чего ему дополнительно сообщать, мол, еще и это забери?

** Allow - директива сравнительно новая. Я лично, не уверен, что все поисковые машины работают с ней верно - по сему, не использую совсем.

Так, что:
Цитата
Павел пишет:
А если прописать
Цитата
Disallow: /

И ветки, которые должны индексироваться, в таком случае роботс будет корректным?


В теории похоже на правду, но точно не скажу. И на мой взгляд грамотнее будет:
User-agent: *
Disallow: /это надо запретить/
Disallow:
# разрешить все остальное

З.Ы. знаком # отметил комментарий.
Изменено: aaliseyko - 22 Декабря 2010 16:19
Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/
Цитата
Павел пишет:
И ветки, которые должны индексироваться, в таком случае роботс будет корректным?


Которые НЕ должны индексироваться и в этом случае он будет корректным
Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.
Цитата
aaliseyko пишет:
Allow - директива сравнительно новая. Я лично, не уверен, что все поисковые машины работают с ней верно - по сему, не использую совсем.
новая. Я лично, не уверен, что все поисковые машины работают с ней верно - по сему, не использую совсем.


А Вы рекомендацию по составлению роботс давно читали?
А вот так:
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://snaper.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://snaper.ru/sitemap.xml
Host: http://snaper.ru

Только, что означает Disallow: /*print
Цитата
Олеся пишет:
Цитата
Павел пишет:

И ветки, которые должны индексироваться, в таком случае роботс будет корректным?




Которые НЕ должны индексироваться и в этом случае он будет корректным


Я не этот имел в виду
Цитата
Олеся пишет:
Цитата
aaliseyko пишет:

Allow - директива сравнительно новая. Я лично, не уверен, что все поисковые машины работают с ней верно - по сему, не использую совсем.

новая. Я лично, не уверен, что все поисковые машины работают с ней верно - по сему, не использую совсем.


А Вы рекомендацию по составлению роботс давно читали?


smile:) не утверждаю, что она она вчера появилась. Потому и пишу "сравнительно", то есть относительно Disallow, которая была изначально, Allow - совсем молоденькая.
100% Allow поддерживают Google, Yandex и другие монстры.
Есть еще сравнительно не большой ряд случаев, когда Allow просто жизненно необходима, но в целом, без этой директивы можно обойтись.

Если не сложно пару ссылок в студию - почитаю. Может и освежить чего пора в памяти. (портянку от Яндекса не предлагать).

@snaiper17z
Поменяй местами 1-ю и вторую части.

У тебя получается ДЛЯ ВСЕХ роботов - некий список директив, в том числе и для Яндекса, а потом отдельно для яндекса, хотя первая половина для него фактически УЖЕ отработала. Должно быть наоборот: специально для Яндекса то-то и то-то, а потом для оставшихся.

В остальном, на вскидку - замечательно все.
Цитата
aaliseyko пишет:
Disallow, которая была изначально, Allow - совсем молоденькая.


Они появились в один день, были описаны в одной спецификации. Вы бред несёте, правда.
Заработок на новых сайтах и нулевиках.

Професиональный хостинг
Цитата
snaiper17z пишет:
А вот так:
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://snaper.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://snaper.ru/sitemap.xml
Host: http://snaper.ru

Только, что означает Disallow: /*print


Часть с Яндексом убирайте. У Вас первая часть ничем не отличается, а в ней стоит указатель для всех поисковых роботов User-agent: *

/*print это страница вывода на печать, но она может и меть другой вид /#print
Цитата
Дмитрий пишет:
/#print


Так нельзя .. Ошибка будет


Цитата
Дмитрий пишет:
Только, что означает Disallow: /*print


А здесь не одна страница, а любые страницы, которые заканчиваются на print.
Цитата
Semantic пишет:
Так нельзя .. Ошибка будет


Если выводится Яваскриптом то будет такой формат

Цитата
Semantic пишет:
А здесь не одна страница, а любые страницы, которые заканчиваются на print.


Ну я имелл виду любую которая выводится при инициации печати.
Цитата
Дмитрий пишет:
Если выводится Яваскриптом то будет такой формат


Дим, если выводится яваскриптом, её закрывать не надо. Это якорная ссылка, которая без яваскрипта приведёт на один из фрагментов этой же страницы.
Цитата
Semantic пишет:
Дим, если выводится яваскриптом, её закрывать не надо. Это якорная ссылка, которая без яваскрипта приведёт на один из фрагментов этой же страницы.


Верно. Уяснил. Действительно, нужно было просто подумать этот момент.
Цитата
Дмитрий пишет:
Верно. Уяснил. Действительно, нужно было просто подумать этот момент.


Могу еще сказать что нельзя делать так:

Код
href="javascript;"
href='jav * ascript: void(0);'


Эти ссылки никуда не ведут и нарушают семантичность. Достаточно href="#" и onc lick="return false" для сброса реакции на клик, ну и колбэки отдельно можно.
Цитата
Semantic пишет:
Достаточно href="#" и onc lick="return false"


О да. Это мой метод
Страницы: Пред. 1 2 3 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
19:30 Индексация страниц 
20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Какую выбрать тему/нишу для сайта? 
18:32 Gambling Craft - гемблинг по белому 
04:06 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
15:37 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
15:03 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:25 Sova.gg - надежный обменник криптовалюты. 
13:14 GoodsMoney.io 
20:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
09:45 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
20:17 Точные прогнозы на футбол 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор