Правильный robots.txt ?

Сообщений: 578 Регистрация: Авг 2010

12 Октября 2011 15:07

Мне нужно скрыть вот эти страницы
site.ru/hi.php
site.ru/login/
site.ru/reg/
site.ru/profile
site.ru/set
site.ru/send.php

Притом что, некоторые со слешем, а некоторые без..
Я написал роботс.тхт, правильно ли я его написал?

User-agent: *
Disallow: /*print-
Host: site.ru
Dissalow: /hi.php
Dissalow: /login/
Dissalow: /reg/
Dissalow: /profile
Dissalow: /set
Dissalow: /send.php

motlik

Сообщений: 96 Регистрация: Авг 2010

12 Октября 2011 16:17

Я бы лучше написал так

User-agent: *
Disallow: /*print-
Dissalow: /hi.php
Dissalow: /login/
Dissalow: /reg/
Dissalow: /profile
Dissalow: /set
Dissalow: /send.php
Allow: /
Host: site.ru
Sitemap: _http://site.ru/sitemap.xml

Изменено: motlik - 12 Октября 2011 16:17

Олег

Сообщений: 578 Регистрация: Авг 2010

12 Октября 2011 16:21

А что эта строка делает Allow: / ?

Gimli

Сообщений: 197 Регистрация: Май 2011

12 Октября 2011 16:25

Allow можно индексировать
Dissalow запрещено индексировать

Хочешь зарабатывать много? Отличные тексты для Вашего сайта Регистрация

Олег

Сообщений: 578 Регистрация: Авг 2010

12 Октября 2011 16:27

Спасибо, буду так юзать )

Иван Федоров

Сообщений: 234 Регистрация: Сен 2011

18 Октября 2011 10:50

Лучше всего подгружать ваш роботс.тхт в webmaster каждого поисковика - и проверять интерсущие URL на доступность и недоступность для поисковика. Там это пишется честно. Этим вы подберете правильный точно текст, одинаково интерпретируемый обоими (по крайней мере) поисковиками.

Так, например, у меня сложилось впечатление, что кто-то один (гугль? не помню) на Allow вобще забивает, т.е. это лишняя конструкция.
Со звездочками - тоже нюанс какой-то в трактовке. Проверять надо.

Изменено: Иван Федоров - 18 Октября 2011 10:51

Александр Алисейко

Сообщений: 251 Регистрация: Ноя 2010

5 Ноября 2011 17:52

По хорошему Allow вообще не нужно использовать. Достаточно указать Disallow без условий. Это будет читаться как "запретить - ничего" или по русски "разрешить все", то есть - открыть сайт для индексации. Это должна быть самая первая инструкция. После которой уже начинаем перечислять все остальное.

В итоге должны получить следующее:

User-agent: *
Disallow:
Dissalow: /profile
Dissalow: /profile/
Dissalow: /login
Dissalow: /login/

... все папки, которые хотим запретить

Dissalow: /hi.php
Dissalow: /send.php
... все файлы, которые хотим запретить

Host: site.ru

То есть сперва мы сказали, что блок ниже относится для всех роботов, затем "запретили ничего", затем запретили папки, затем запретили файлы.
Нюансы: папки рекомендую прописывать дважды - со слэшем на конце и без.
Директиву Host - знает только Яндекс - ее лучше вынести в отдельный блок, только для Яндекса.
Хотя, я ее никогда не использую, потому как 301 редирект на одно из зеркал (с www или без) на мой взгляд на много правильнее. И точно на 100% работает и никакого "клея" у вас никогда не будет.

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

fobos234 Сообщений: 15 Регистрация: Дек 2011	#8 10 Февраля 2012 17:28 здесь немного теории - http://kapon.com.ua/str1.php Изменено: fobos234 - 10 Февраля 2012 17:29

Новые темы	Объявления	Свободное общение
15:19 Refmate — сервис для взаимного обмена ссылками 13:06 Продвижение по ключам 09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд	10:50 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 10:01 PlayPay.biz - Лутбоксы с товарами, играми 08:32 Продам сайт финансовой тематики (банки, мфо) срочно с доменом!!! 08:10 Аккаунт исполнителя fl.ru 05:19 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 04:06 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 01:41 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника	17:46 Всего п онемногу 12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...