Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Бесплатная контекстная реклама

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:52 Ап 24 мая 2017 
15:23 Переобход страниц 
14:12 Крауд-маркетинг - отзывы с прокачанных акков 
14:03 Скачивание ФАЙЛА на отдельной странице dle 11,2 
13:18 TradeLeads - партнерка в секторе e-commerce, games и инфо-товарах 
12:27 Стоит ли удалять тег rel=shortlink 
12:16 Подскажите хостинг с нормальной защитой от DDOS 
16:13 Автоматический сервис продвижения(накрутки). 18 соц сетей! Бонус местным! 
15:50 Берусь за работу любой сложности: копирайт, рерайт, перевод, SEO!!! 
14:51 Продам сайт 
14:10 Услуги по рассылки спама Вконтакте 
13:42 Живые люди в группу фейсбук (facebook.com). Выбор таргетинга по Странам и Городам 
13:15 Качественные профильные и статейные прогоны хрумером по своим базам! 
10:32 Сервис продажи SSH туннелей 
16:04 Покупка ссылок на игровых порталах 
15:52 Видеоролики создает кто? 
15:32 Линкбилдинг, как способ привлечения трафика. 
15:16 5 000 руб. 
14:45 Рыбаки, охотники, Вы где? 
13:26 Переход с https на http 
13:08 Самый лучший город на Земле