Как сделать широкий проход для поисковых роботов?

Сообщений: 105 Регистрация: Янв 2011

23 Октября 2011 11:43

Не могу разобраться как сделать robots.txt для своих сайтов? Описание в Яндексе не поддаётся моему пониманию, слишком мало связей с реальным миром. Подскажите доступным языком как, или сделайте мне их кто нибудь если кто-то конечно умеет это делать ? Я буду щедро-скромно благодарен ...)

И с файлами Sitemap та же тема, не могу понять, в веб-мастере Яндекса добавляю просто ссылки на новые страницы - но чувствую, что делаю что то не так. Очень нужна помощь !!!

www.vo-design.ru

Александр Алисейко

Сообщений: 251 Регистрация: Ноя 2010

23 Октября 2011 12:10

создаешь robots.txt (маленькими буковками)
В нем пишем:

Код
User-agent: *

Это значит для ВСЕХ роботов.

Теперь можно прямо РАЗРЕШИТЬ индексировать весь сайт:

Код
Disallow:

наш Disallow: - не имеет аргументов, значит ничего не запрещает.

Дальше защищаем от индексации административные (как правило) директории:

Код
Disallow: /adminka/

И так далее...
Если нужно запретить только отдельную страницу или файл (на конце расширение конкретного файла):

Код
Disallow: /contetn/somepage.php

Это может быть полезным, например, при скрытии от роботов лицензий или гайдов полученных от разработчика.
Если пути (точнее УРЛы) не чистые, то так и пишем:

Код
Disallow: /?q=adminka/

Ну и напоследок, мне надо, например защить отдельную поддиректорию:

Код
Disallow: /comment/resent/

Теперь, все что comments - роботам доступно, кроме папки /resent
Как-то так.

Всякими там host и sitemap в robots можешь не страдать.

Ну что, сложно?

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

Александр Золоторезов

Сообщений: 53 Регистрация: Июл 2011

23 Октября 2011 17:03

Все понятно написано. Спасибо. Мне тоже пригодится.

Мои работы https://twitter.com/lab_club

Валерий Щегельский

Сообщений: 183 Регистрация: Дек 2011

17 Января 2012 14:41

Спасибо, тоже пригодится.

sindoyun

Сообщений: 1301 Регистрация: Ноя 2011

23 Января 2012 00:12

Темы востребованная smile:)

и мне пригодилось!

Профессиональный Хостинг по низкой цене

Алексей С

Сообщений: 70 Регистрация: Апр 2012

21 Мая 2012 17:20

;)Спасибо за подробное описание, Александр Алисейко.

Копирайтинг/рерайтинг качественно

vvlasov.ua

Сообщений: 1 Регистрация: Окт 2012

11 Октября 2012 13:06

Файл sitemap создается в текстовом блокноте с расширением *.xml
Тут самое основное : каждая страничка сайтмапа заключается в теги <url>, потом в тег <loc> уже линк на ту страничку, тег <priority> отвечает за то какая страница будет первая в приоритете для индексации (высший приоритет 1.0 низший 0.1), если страниц мало то лучше ручками сделать, если много то в сети есть много генераторов сайтмапов. Сам сайтмап нужно в корень сайта положить.

<urlset xmlns="www.sitemaps.org/schemas/sitemap/0.9">

<url>
<loc>http://www.domen.com.ua/ </loc>
<priority>1.0</priority>
</url>

</urlset>

Изменено: vvlasov.ua - 11 Октября 2012 13:11

Сергей

Сообщений: 805 Регистрация: Апр 2012

27 Октября 2012 19:54

Очень пригодилось, просто и понятно. Надо ваше описание яндексу подкинуть, чтоб тот понял, как советы давать на нормальном языке. А не так как у него написано. Респект тебе ТС.

Дмитрий Б

Сообщений: 7 Регистрация: Мар 2013

25 Ноября 2013 23:38

Доходчио

Анатолий Грабновских

Сообщений: 106 Регистрация: Апр 2013

#10

17 Декабря 2013 17:23

Спасибо!всё понятно

Андрей Попов Сообщений: 134 Регистрация: Ноя 2013	#11 7 Апреля 2015 16:01 Стандартный файл User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ но лично у меня сомнение по поводу /media/ , /modules/, /plugins/, /templates/ (шаблон - у кого какой) Очень жаль, что нет философии и философов ...

Новые темы	Объявления	Свободное общение
13:24 Bropush - твой бро в монетизации сайта push-уведомлениями 12:35 TacoLoco - рекламная сеть от LosPollos. Большие объёмы качественного трафика! 15:08 Adtrafico - Правильная партнёрская сеть под бурж трафик 21:18 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 21:06 Кто как борется с ботами ПФ? 16:51 Buymedia.biz - рекламная сеть 13:36 Партнерская программа OWNR WALLET	06:54 Johnny.Do \| Обмен криптовалют с круглосуточной техподдержкой 14:14 JustProxy.Biz - Резидентные прокси без ограничения по трафику 11:03 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 23:50 Прием платежей для HIGH RISK \| Прием платежей без сайта 23:50 Услуги рассылки Viber\|Whatsapp\|IMO. 23:48 Рассылка сообщений в ЛС DISCORD 23:47 Рассылка в TELEGRAM \|Большой опыт работы \| Любые тематики \| Лучшая конверсия	02:44 Точные прогнозы на футбол 15:43 Заказать телефонный флуд. 12:05 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 11:40 Кто сделает прогон для адалт сайта? 09:25 Добро пожаловать в цифровой мир... 10:31 Видимо, похороны СУПРа уже прошли как-то по-тихому 08:08 С юмором по жизни!