Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Бесплатная контекстная реклама

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:35 Более 100 уникальных статей а трафика почти нет. 
22:14 Апдейт яндекса 02.12.2016 
22:02 Нужен совет как по максимуму выжать с сайтов тиц 90-200 
21:46 Adsense личный опыт 
20:27 Неправильные сниппеты статьи 
20:14 Непонятный скрипт в каждой записи 
19:47 как обогнать конкурента и olx 
22:07 Размещу ваши ссылки на сайте игровой тематики 
21:41 Прогон хрумером 
21:26 Продам домены РУС 
21:22 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
20:53 Рерайт 15р, копирайт 25р, постинг на Ваши сайты, оформление новостей стандартам SEO законам. 
19:34 Продам видео парсер 
18:43 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
22:20 «Угадай дату апдейта тИЦ» — получи Xneolinks + 500 рублей! 
22:17 Чем проверить текст на уникальность? 
22:14 Одностраничник в топ реально?) 
22:09 Ученые советуют заниматься сексом в носках ради частых оргазмов 
20:47 Странный файл в корне сайта 
17:10 Luck-invest - luck-invest.com 
13:57 Получать высшее образование, если вы в теме. Стоит ли?