Правильно ли составлен robots.txt

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 10:01

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:38

Обычно указывают не что индексировать, а что не индексировать, то есть проставляют значение disallow: /ветка запрещенная к индексации.

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:39

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:48

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

Можете переделать плиз, просто не я составлял

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:51

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:56

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

Хорошо

Меня волнуют строки Index, потому что в яндекс вебмастер пишет: Обнаружена неизвестная директива

Олеся

Сообщений: 890 Регистрация: Мар 2010

22 Декабря 2010 12:26

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow smile:o

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 12:47

Цитата

Олеся пишет:

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow

А Allow что делает?

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 12:50

Цитата
snaiper17z пишет: А Allow что делает?

Разрешает к индексации

http://www.robotstxt.org/robotstxt.html

Вы почитайте и во всём разберитесь, если английский туго, то есть переводчик страниц.

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#10

22 Декабря 2010 13:30

Стираешь все и пишешь с самого начала. smile:D

User-agent: *
Disallow: /некая системная папка которую индексировать не надо полностью/
Disallow: /еще одна такая папка/

Disallow: /некий файл.html (txt., inc и прочие)

1. В роботе ЗАПРЕЩАЕШЬ к индексации весь "мусор" (то есть рабочие скрипты). Тут важно не запретить что-ни-будь типа index.php (htm или как у тебя там)
2. в роботе НЕ ПИШУТСЯ такие вещи как: ~~http://snaper.ru/~~ - это дурной тон
3. одна директива на строку

Исходи из принципа - в индексе все, что НЕ запрещено. smile:)

И запрещай все остальное.

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#11

22 Декабря 2010 14:32

вот так правильно:
User-agent: *
Allow: /news/
Allow: /ae-and-ps/
Allow: /all-school/
Allow: /photoshop/
Allow: /ucoz/
Allow: /counter-strike/
Allow: /stat/
Allow: /xost/
Allow: /all-fail/
Allow: /seo/
Allow: /what-new/
Allow: /my-news/
Allow: /index.php?do=register
Allow: /ae/
Allow: /?do=search&mode=advanced

Sitemap: http://snaper.ru/sitemap.xml

Олеся

Сообщений: 890 Регистрация: Мар 2010

#12

22 Декабря 2010 14:39

Правильно. Только зачем Вы опять пишете разрешённые разделы, Укажите те что не должны индексироваться. Иначе толку от такого роботса никакого

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#13

22 Декабря 2010 14:59

snaiper17z - пойми, ты только что РАЗРЕШИЛ, то что уже БЫЛО разрешено. и ничего не запретил из того, что ДОЛЖНО быть ЗАПРЕЩЕНО.

действительно - толку от этого робота - ровно ноль... Что с ним, что без него - все едино.

Роботы изначально пишутся для того, что бы скрыть, что-то от индексации, а соответственно от пользователей, а не разрешить!

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#14

22 Декабря 2010 15:51

Только вот я незнаю что запретить

aaliseyko Сообщений: 251 Регистрация: Ноя 2010	#15 22 Декабря 2010 15:59 а что есть?

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
18:13 Покупные ссылки 15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 15:11 Стоит ли добавлять сайт в Rambler топ 100? 15:10 Rotapost прикрыли! Чем пользоваться? 15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 12:05 DLE не создает бэкап с админки сайта, как быть?	04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:08 Bankomat001 - Сервис обмена электронных валют 22:42 nexgen24.io - криптовалюта и фиат в одном месте 19:58 продажа аккаунтов под яндекс сплит, вб 15:08 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 13:34 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 13:04 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb 16:50 Компьютерная мышь 11:32 Про мясо 22:11 С юмором по жизни! 23:03 Точные прогнозы на футбол