Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Бесплатная контекстная реклама

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:14 Adsense личный опыт 
14:04 Ап 22.06.2017 
12:26 Помогите настроить правильно robots txt 
12:13 Партнерка ОК.ru 
10:42 Нету посетителей на сайте 
10:32 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
10:21 Нужен совет 
15:59 Продвижение Instagram (раскрутка вашего аккаунта) 
15:23 Отдам даром промокоды AdWords (под РФ) 
14:52 Пустые аккуанты Яндекс Директ. 
14:47 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
14:40 Персональные прокси под: соц. сети, парсинг, avito, olx и прочее от 50р/шт 
14:22 Интернет магазин обуви, ЯК, ключевой домен, дропшиппинг 
13:41 referr.ru - сервис крауд-маркетинга. Естественные ссылки в СНГ, США, Европе. 4 года 
15:49 По любимому ФЗ о перс данных 
15:01 Посоветуйте видео редактор 
14:26 Всё о крипто-валюте 
14:18 Яндекс добивает SEO в комерческой выдаче 
10:23 Купить Litecoin 
10:04 Бесплатный хостинг. 
09:07 Яндекс обнулил остатки на счетах украинских пользователей