Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Бесплатная контекстная реклама

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:09 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
20:03 WelcomePartners – ведущая гемблинг партнерка рунета! 
19:56 Яндекс тИЦ 03.12.2016 
19:56 Неправильный Роботс.тхт 
19:49 Интересует мнение профессионалов по сайту 
19:31 Нужно ли делать редирект с HTTP на HTTPS? 
19:23 Смена адреса админ панели WordPress 
20:34 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
20:20 Прошу Вас оцените стоимость сайта 
19:51 Обмен wmr на яд 
19:37 Создание макетов, иконок, логотипов 
19:35 Продам домены РУС 
18:34 Услуги по Рассылка спама Вконтакте и в Одноклассниках 
17:23 Дизайн: сайтов, баннеров, шапок, логотипов,оформление групп вконтакте 
20:26 Профессиональная настройка кампании в Яндекс Директ | Web-context.biz 
20:11 ЭВРИКА! Стань быстрее и сильнее! Одержи победу над конкурентом! 
19:45 Опрос: родители проводят в два раза больше времени онлайн, чем их дети 
19:41 Исследование: Более 50% активной аудитории популярных в РФ соцсетей в ноябре составили девушки 
19:09 В бизнес приглашается специалисты, контракт, удаленно 
19:03 Подскажите ретро игры для ПК 
18:57 Подскажите cms или какой-то скрипт простой доски объявлений