Правильно ли составлен robots.txt

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 10:01

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:38

Обычно указывают не что индексировать, а что не индексировать, то есть проставляют значение disallow: /ветка запрещенная к индексации.

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:39

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:48

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

Можете переделать плиз, просто не я составлял

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:51

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:56

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

Хорошо

Меня волнуют строки Index, потому что в яндекс вебмастер пишет: Обнаружена неизвестная директива

Олеся

Сообщений: 890 Регистрация: Мар 2010

22 Декабря 2010 12:26

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow smile:o

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 12:47

Цитата

Олеся пишет:

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow

А Allow что делает?

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 12:50

Цитата
snaiper17z пишет: А Allow что делает?

Разрешает к индексации

http://www.robotstxt.org/robotstxt.html

Вы почитайте и во всём разберитесь, если английский туго, то есть переводчик страниц.

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#10

22 Декабря 2010 13:30

Стираешь все и пишешь с самого начала. smile:D

User-agent: *
Disallow: /некая системная папка которую индексировать не надо полностью/
Disallow: /еще одна такая папка/

Disallow: /некий файл.html (txt., inc и прочие)

1. В роботе ЗАПРЕЩАЕШЬ к индексации весь "мусор" (то есть рабочие скрипты). Тут важно не запретить что-ни-будь типа index.php (htm или как у тебя там)
2. в роботе НЕ ПИШУТСЯ такие вещи как: ~~http://snaper.ru/~~ - это дурной тон
3. одна директива на строку

Исходи из принципа - в индексе все, что НЕ запрещено. smile:)

И запрещай все остальное.

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#11

22 Декабря 2010 14:32

вот так правильно:
User-agent: *
Allow: /news/
Allow: /ae-and-ps/
Allow: /all-school/
Allow: /photoshop/
Allow: /ucoz/
Allow: /counter-strike/
Allow: /stat/
Allow: /xost/
Allow: /all-fail/
Allow: /seo/
Allow: /what-new/
Allow: /my-news/
Allow: /index.php?do=register
Allow: /ae/
Allow: /?do=search&mode=advanced

Sitemap: http://snaper.ru/sitemap.xml

Олеся

Сообщений: 890 Регистрация: Мар 2010

#12

22 Декабря 2010 14:39

Правильно. Только зачем Вы опять пишете разрешённые разделы, Укажите те что не должны индексироваться. Иначе толку от такого роботса никакого

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#13

22 Декабря 2010 14:59

snaiper17z - пойми, ты только что РАЗРЕШИЛ, то что уже БЫЛО разрешено. и ничего не запретил из того, что ДОЛЖНО быть ЗАПРЕЩЕНО.

действительно - толку от этого робота - ровно ноль... Что с ним, что без него - все едино.

Роботы изначально пишутся для того, что бы скрыть, что-то от индексации, а соответственно от пользователей, а не разрешить!

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#14

22 Декабря 2010 15:51

Только вот я незнаю что запретить

aaliseyko Сообщений: 251 Регистрация: Ноя 2010	#15 22 Декабря 2010 15:59 а что есть?

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 17:16 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче	18:46 buyingproxy.com \| $0.95/GB Residential Proxies - 80M+ IPs \| No Bandwidth Expiry 18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 14:52 Прошу оценить сайт 13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 13:39 Вериф аккаунты АВИТО + платежи 10:26 Мониторинг обменников Сrypto-scout.io	17:27 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 17:20 Список обновленных тем пуст... 11:21 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 17:02 арбитражники 12:26 Заработок на загрузочном сайте в 2026? 09:49 Точные прогнозы на футбол