Robots.txt для html сайта
Страницы: 1
Robots.txt для html сайта
Добрый день. Я вроде уже знаю как правильно настроить роботс для сайта вордпресс(какие страницы желательно закрыть и т.д.).Но для сайта без движка, написанный на html, не знаю как лучше настроить. 
Подскажите пожалуйста кто знает, или пример покажите. 
Спасибо.

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

У меня такой для чистого html, полёт нормальный:

User-agent: *
Host: site.ru
Sitemap: http :// site.ru /sitemap.xml

Если хотите что-то закрыть от индексации, то прописываете запрет.
Изменено: masterrabot - 20 Февраля 2017 12:04

А что изменяется то ? Так же само закрываем для индекса скрипты, открываем картинки и тексты..
Сварщик - сайтосборщик, выравняю кривое, отпилю лишнее, снимаю венец безбрачия с яндексом.
а sitemap как создать для этого?
Цитата
Armen Adamyan пишет:
а sitemap как создать для этого?


Руками в блокноте сохранив затем файл с расширением .xml
или к примеру здесь на Супре https://www.cy-pr.com/tools/sitemap/
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?
Цитата
Armen Adamyan пишет:
masterrabot, потом он сам будет обновляться(если есть написанный движок на php) или нужно добавлять в ручную?


В ручную, это же для сайта на чистом html
На самописном движке php не знаю как сделать автообновляемую сайтмап.
Есть скрипты - и для на файлах, и на базе.
Конечно, все разные и разные, но найти можно - запуск по крону иливручную, по желанию пользователя.

Подробнее в инете.
masterrabot, Coder, понятно, спасибо!
)Пожалуйста
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:09 Накрутка лайков и репостов вк 
22:02 Как удалить Pre-Installed Программы - Удаление вирусов 
19:53 Как закрыть данные в сервисе cy-pr, от посторонних? 
17:10 Программа для накрутки посетителей с поисковиков. 
15:49 Нужна помощь по поисковой оптимизации 
10:43 Обновление поисковой базы 2019-10-18 
02:02 Видеобалансер 
18:58 Размещение вечных "Белых" ссылок в Яндекс.Коллекциях - Повышение ИКС сайта 
18:49 Размещение свыше 110 тыс. опубликованных «мини» статей со ссылкой на Ваш сайт. 
17:21 Необходимо вывести в топ сайт таможенного брокера 
17:16 Нужно переделать сайт 
16:49 Повысить икс и трафик. 
13:05 Услуги по программированию и веб дизайну 
12:47 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
19:43 Осторожно! Криптовалюта 
15:04 Стоит ли приобретать Xrumer 
10:08 Plussy - лучшая партнерка для гемблинг 
21:02 Кто что знает про данный гарант 
13:43 Рекламная сеть ADSWELL - у нас Ваша аудитория стоит дороже 
17:35 Помогите выиграть в конкурсе! 
12:08 Натяжка шаблона на Wordpress