Как сделать широкий проход для поисковых роботов?

Сообщений: 105 Регистрация: Янв 2011

23 Октября 2011 11:43

Не могу разобраться как сделать robots.txt для своих сайтов? Описание в Яндексе не поддаётся моему пониманию, слишком мало связей с реальным миром. Подскажите доступным языком как, или сделайте мне их кто нибудь если кто-то конечно умеет это делать ? Я буду щедро-скромно благодарен ...)

И с файлами Sitemap та же тема, не могу понять, в веб-мастере Яндекса добавляю просто ссылки на новые страницы - но чувствую, что делаю что то не так. Очень нужна помощь !!!

www.vo-design.ru

Александр Алисейко

Сообщений: 251 Регистрация: Ноя 2010

23 Октября 2011 12:10

создаешь robots.txt (маленькими буковками)
В нем пишем:

Код
User-agent: *

Это значит для ВСЕХ роботов.

Теперь можно прямо РАЗРЕШИТЬ индексировать весь сайт:

Код
Disallow:

наш Disallow: - не имеет аргументов, значит ничего не запрещает.

Дальше защищаем от индексации административные (как правило) директории:

Код
Disallow: /adminka/

И так далее...
Если нужно запретить только отдельную страницу или файл (на конце расширение конкретного файла):

Код
Disallow: /contetn/somepage.php

Это может быть полезным, например, при скрытии от роботов лицензий или гайдов полученных от разработчика.
Если пути (точнее УРЛы) не чистые, то так и пишем:

Код
Disallow: /?q=adminka/

Ну и напоследок, мне надо, например защить отдельную поддиректорию:

Код
Disallow: /comment/resent/

Теперь, все что comments - роботам доступно, кроме папки /resent
Как-то так.

Всякими там host и sitemap в robots можешь не страдать.

Ну что, сложно?

Создание сайтов, верстка | http://www.weesite.ru
Веточка на супре | http://www.cy-pr.com/forum/f74/t16076/

Александр Золоторезов

Сообщений: 53 Регистрация: Июл 2011

23 Октября 2011 17:03

Все понятно написано. Спасибо. Мне тоже пригодится.

Мои работы https://twitter.com/lab_club

Валерий Щегельский

Сообщений: 183 Регистрация: Дек 2011

17 Января 2012 14:41

Спасибо, тоже пригодится.

sindoyun

Сообщений: 1301 Регистрация: Ноя 2011

23 Января 2012 00:12

Темы востребованная smile:)

и мне пригодилось!

Профессиональный Хостинг по низкой цене

Алексей С

Сообщений: 70 Регистрация: Апр 2012

21 Мая 2012 17:20

;)Спасибо за подробное описание, Александр Алисейко.

Копирайтинг/рерайтинг качественно

vvlasov.ua

Сообщений: 1 Регистрация: Окт 2012

11 Октября 2012 13:06

Файл sitemap создается в текстовом блокноте с расширением *.xml
Тут самое основное : каждая страничка сайтмапа заключается в теги <url>, потом в тег <loc> уже линк на ту страничку, тег <priority> отвечает за то какая страница будет первая в приоритете для индексации (высший приоритет 1.0 низший 0.1), если страниц мало то лучше ручками сделать, если много то в сети есть много генераторов сайтмапов. Сам сайтмап нужно в корень сайта положить.

<urlset xmlns="www.sitemaps.org/schemas/sitemap/0.9">

<url>
<loc>http://www.domen.com.ua/ </loc>
<priority>1.0</priority>
</url>

</urlset>

Изменено: vvlasov.ua - 11 Октября 2012 13:11

Сергей

Сообщений: 805 Регистрация: Апр 2012

27 Октября 2012 19:54

Очень пригодилось, просто и понятно. Надо ваше описание яндексу подкинуть, чтоб тот понял, как советы давать на нормальном языке. А не так как у него написано. Респект тебе ТС.

Дмитрий Б

Сообщений: 7 Регистрация: Мар 2013

25 Ноября 2013 23:38

Доходчио

Анатолий Грабновских

Сообщений: 106 Регистрация: Апр 2013

#10

17 Декабря 2013 17:23

Спасибо!всё понятно

Андрей Попов Сообщений: 134 Регистрация: Ноя 2013	#11 7 Апреля 2015 16:01 Стандартный файл User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ но лично у меня сомнение по поводу /media/ , /modules/, /plugins/, /templates/ (шаблон - у кого какой) Очень жаль, что нет философии и философов ...

Новые темы	Объявления	Свободное общение
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче	18:46 buyingproxy.com \| $0.95/GB Residential Proxies - 80M+ IPs \| No Bandwidth Expiry 18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 14:52 Прошу оценить сайт 13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 13:39 Вериф аккаунты АВИТО + платежи 10:26 Мониторинг обменников Сrypto-scout.io	23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 17:20 Список обновленных тем пуст... 19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 17:02 арбитражники 12:26 Заработок на загрузочном сайте в 2026? 09:49 Точные прогнозы на футбол