Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.
Один из лучших хостингов.
Одна из лучших партнерок.
Продаю плагины гаданий и гороскопа!

Бесплатная контекстная реклама

У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:00 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
18:22 Если страница не заходит в гугл 
18:20 Покупные ссылки 
16:22 Где найти "Независимое управление для разных типов площадок."? 
15:28 Не индексирует гугл 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:01 Вторник Яндекс выдача 
21:39 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust 
19:09 Хотите заказать статью для сайта на английском языке? 
19:05 Вёрстка и дизайн сайтов 
16:03 C1k: обмен Advcash , Perfect Money , skrill , NETELLER, крипта, приват24, тенге 
14:58 Антидетект Che browser 
14:03 BestChange – обменивать электронную валюту можно быстро и выгодно 
12:58 Качественный рерайт от 20 руб. за 1000 символов 
13:08 Вредоносный код добавили в аддоны Nano Adblocker и Nano Defender для Chrome 
17:22 Павел Дуров назвал три самые недооцененные вещи в жизни 
17:17 Linux - это максимальная свобода 
12:07 Ищу партнерку под Web Push Notifications 
20:22 YouTube запретит получать доход с видео, отрицающих изменения климата 
14:06 Несколько слов о том, почему ты должен выбрать нас! 
23:46 Alfaleads - твоя любимая CPA-сеть!