Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.
Один из лучших хостингов.
Одна из лучших партнерок.
Продаю плагины гаданий и гороскопа!
У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:35 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
13:23 Рост эффективности моего интернет‑магазина 
11:31 AI под надзором. Минцифры готовят клеймо для контента 
21:08 Adsense личный опыт 
18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
18:16 С чего сейчас проще начать? 
08:29 Бесплатное получение бэклинков 
16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
13:48 Мониторинг обменников Сrypto-scout.io 
13:42 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
11:55 Plata24: Быстрый обмен. Честный курс. 
Полная безопасность. 
11:46 BestChange – обменивать электронную валюту можно быстро и выгодно 
16:51 молодильные яблоки и живая вода 
16:28 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
22:06 Точные прогнозы на футбол 
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 
06:50 Ставки на супер тренды в спорте 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем