Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.
Один из лучших хостингов.
Одна из лучших партнерок.
Продаю плагины гаданий и гороскопа!

Комплексное SEO продвижение в поисковых системах Яндекс, Google

У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:34 Поменял домен 
06:49 Kokos.click - народная тизерная сеть! 
21:59 Накрутка поведенческих факторов весна - лето 2020 для продвижения сайта в ТОП Яндекса и Google 
21:20 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
21:01 Можно с помощью накрутки ПФ "почувствовать выход в опу мира и ощутить ответ тех поддержки яшы"? 
20:42 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
18:30 SE Ranking - новый сервис проверки позиций сайтов в поисковиках 
09:47 EnotGlobal – Реактивная генерация поведенческого трафика. 
19:06 Продам свежий сайт о путешествиях 
18:13 World-Bases.com - Списки сайтов и доменов на различных CMS: WordPress, Joomla, Magento, Drupal etc. 
14:52 Продам сайт 
14:26 Размещу ссылки/статьи на ваш сайт 
12:10 SmmDrugs.ru - Дешевая накрутка в социальные сети 
10:04 Продаю Гадальные скрипты (47шт) для wordpress и dle 
09:38 ruposters.ru: На турецких курортах резко началась новая волна коронавируса 
19:07 Дуров увидел в попытке США выкупить TikTok угрозу гибели глобального интернета 
14:56 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
18:07 Партнёрская рекламная сеть Vadideo Network 
11:59 Edu-affiliates - лучшая партнерка в нише эссе! 
07:46 Обсчитали в магазине 
22:08 Ваш сайт блокируют гос органы? Есть решение!