Правильно ли составлен robots.txt

artem19951995

Сообщений: 72 Регистрация: Ноя 2010

8 Июня 2011 18:16

http://classanime.ru/robots.txt
Правильно если нет как нужно?

Сообщений: 4 Регистрация: Май 2011

8 Июня 2011 19:09

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д

Изменено: prog_it - 8 Июня 2011 19:15

sanek Сообщений: 338 Регистрация: Май 2011	#3 8 Июня 2011 20:05 Правильно будет так: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /go? Sitemap: _classanime.3dn.ru/sitemap.xml Sitemap: _classanime.3dn.ru/sitemap-forum.xml Sitemap: _classanime.3dn.ru/sitemap-shop.xml User-agent: Yandex Host: classanime.ru И не ставь пробелы! Изменено: sanek - 8 Июня 2011 20:07 Доска бесплатных объявлений

Новые темы	Объявления	Свободное общение
21:29 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат? 15:04 Редирект на мобильных. Айболит и сканеры молчат 14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 14:31 Robots txt 12:18 С чего сейчас проще начать? 02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика	20:23 Nexulume.com Обменник без AML и KYC 20:06 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 16:13 EM24.biz - обмен валют 15:22 Авито аккаунты ИП и физик 14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 14:22 Продажа аккаунтов HH.RU 12:29 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков	19:03 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 18:56 Компьютерная мышь 18:54 молодильные яблоки и живая вода 18:50 Панель Кнопки соцсетей 18:41 Оцифровка старых физических фотографий 17:05 Актуально для тех кто хочет заработать в интернете 13:31 Ставки на супер тренды в спорте

Новые темы

Объявления

Свободное общение

21:29 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат?
15:04 Редирект на мобильных. Айболит и сканеры молчат
14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня
14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный
14:31 Robots txt
12:18 С чего сейчас проще начать?
02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика

20:23 Nexulume.com Обменник без AML и KYC
20:06 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
16:13 EM24.biz - обмен валют
15:22 Авито аккаунты ИП и физик
14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
14:22 Продажа аккаунтов HH.RU
12:29 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков

19:03 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
18:56 Компьютерная мышь
18:54 молодильные яблоки и живая вода
18:50 Панель Кнопки соцсетей
18:41 Оцифровка старых физических фотографий
17:05 Актуально для тех кто хочет заработать в интернете
13:31 Ставки на супер тренды в спорте

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?