Правильно ли составлен robots.txt

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 10:01

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:38

Обычно указывают не что индексировать, а что не индексировать, то есть проставляют значение disallow: /ветка запрещенная к индексации.

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:39

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:48

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Цитата
snaiper17z пишет: User-agent: *

Вы описываете то что уже описали, У вас в начале файла юзер-агент все роботы, а снизу вы их перечисляете.

Можете переделать плиз, просто не я составлял

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 11:51

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 11:56

Цитата

Дмитрий пишет:

Цитата
snaiper17z пишет: User-agent: Yandex,GooGle,Rambler,Yahoo

Что переделывать просто строчку удалите и всё.

Хорошо

Меня волнуют строки Index, потому что в яндекс вебмастер пишет: Обнаружена неизвестная директива

Олеся

Сообщений: 890 Регистрация: Мар 2010

22 Декабря 2010 12:26

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow smile:o

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

22 Декабря 2010 12:47

Цитата

Олеся пишет:

Цитата
snaiper17z пишет: строки Index

Потому что нет такой директивы, есть Allow

А Allow что делает?

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

22 Декабря 2010 12:50

Цитата
snaiper17z пишет: А Allow что делает?

Разрешает к индексации

http://www.robotstxt.org/robotstxt.html

Вы почитайте и во всём разберитесь, если английский туго, то есть переводчик страниц.

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#10

22 Декабря 2010 13:30

Стираешь все и пишешь с самого начала. smile:D

User-agent: *
Disallow: /некая системная папка которую индексировать не надо полностью/
Disallow: /еще одна такая папка/

Disallow: /некий файл.html (txt., inc и прочие)

1. В роботе ЗАПРЕЩАЕШЬ к индексации весь "мусор" (то есть рабочие скрипты). Тут важно не запретить что-ни-будь типа index.php (htm или как у тебя там)
2. в роботе НЕ ПИШУТСЯ такие вещи как: ~~http://snaper.ru/~~ - это дурной тон
3. одна директива на строку

Исходи из принципа - в индексе все, что НЕ запрещено. smile:)

И запрещай все остальное.

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#11

22 Декабря 2010 14:32

вот так правильно:
User-agent: *
Allow: /news/
Allow: /ae-and-ps/
Allow: /all-school/
Allow: /photoshop/
Allow: /ucoz/
Allow: /counter-strike/
Allow: /stat/
Allow: /xost/
Allow: /all-fail/
Allow: /seo/
Allow: /what-new/
Allow: /my-news/
Allow: /index.php?do=register
Allow: /ae/
Allow: /?do=search&mode=advanced

Sitemap: http://snaper.ru/sitemap.xml

Олеся

Сообщений: 890 Регистрация: Мар 2010

#12

22 Декабря 2010 14:39

Правильно. Только зачем Вы опять пишете разрешённые разделы, Укажите те что не должны индексироваться. Иначе толку от такого роботса никакого

aaliseyko

Сообщений: 251 Регистрация: Ноя 2010

#13

22 Декабря 2010 14:59

snaiper17z - пойми, ты только что РАЗРЕШИЛ, то что уже БЫЛО разрешено. и ничего не запретил из того, что ДОЛЖНО быть ЗАПРЕЩЕНО.

действительно - толку от этого робота - ровно ноль... Что с ним, что без него - все едино.

Роботы изначально пишутся для того, что бы скрыть, что-то от индексации, а соответственно от пользователей, а не разрешить!

snaiper17z

Сообщений: 61 Регистрация: Июн 2010

#14

22 Декабря 2010 15:51

Только вот я незнаю что запретить

aaliseyko Сообщений: 251 Регистрация: Ноя 2010	#15 22 Декабря 2010 15:59 а что есть?

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 19:30 Индексация страниц 20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Какую выбрать тему/нишу для сайта? 18:32 Gambling Craft - гемблинг по белому	15:37 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 15:03 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 13:25 Sova.gg - надежный обменник криптовалюты. 13:14 GoodsMoney.io 20:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 09:45 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 19:49 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.	10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 20:17 Точные прогнозы на футбол 12:23 150+ хакерских поисковых систем и инструментов 08:38 Накрутка поисковых подсказок 17:41 Стряхнуть обыденность - об Агасфере 10:54 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор