Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.
Один из лучших хостингов.
Одна из лучших партнерок.
Продаю плагины гаданий и гороскопа!
У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
20:15 Nexulume.com Обменник без AML и KYC 
17:47 Продажа аккаунтов HH.RU 
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:59 Mixmasters - Exchange without AML and KYC 
09:05 Swapwatch.org — Мониторинг криптовалютных обменников 
08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
23:25 Точные прогнозы на футбол 
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
20:54 Туалетные секреты: Замурчательная тема 
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
15:24 Сайты Рунета 
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?