Правильно ли составлен robots.txt

artem19951995

Сообщений: 72 Регистрация: Ноя 2010

8 Июня 2011 18:16

http://classanime.ru/robots.txt
Правильно если нет как нужно?

Сообщений: 4 Регистрация: Май 2011

8 Июня 2011 19:09

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д

Изменено: prog_it - 8 Июня 2011 19:15

sanek Сообщений: 338 Регистрация: Май 2011	#3 8 Июня 2011 20:05 Правильно будет так: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /go? Sitemap: _classanime.3dn.ru/sitemap.xml Sitemap: _classanime.3dn.ru/sitemap-forum.xml Sitemap: _classanime.3dn.ru/sitemap-shop.xml User-agent: Yandex Host: classanime.ru И не ставь пробелы! Изменено: sanek - 8 Июня 2011 20:07 Доска бесплатных объявлений

Новые темы	Объявления	Свободное общение
14:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 11:51 SEO под нейро 11:39 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 11:32 Индексирование страниц в Яндексе 01:57 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 01:02 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini? 19:48 где много готовых фавиконок	14:30 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 12:00 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 08:47 Мониторинг обменников Сrypto-scout.io 23:58 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 20:43 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:29 Nexulume.com Обменник без AML и KYC 18:16 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365	14:18 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 08:54 Ставки на супер тренды в спорте 02:01 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 00:53 Список обновленных тем пуст... 00:15 Точные прогнозы на футбол 06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux

Новые темы

Объявления

Свободное общение

14:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
11:51 SEO под нейро
11:39 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает
11:32 Индексирование страниц в Яндексе
01:57 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
01:02 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini?
19:48 где много готовых фавиконок

14:30 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
12:00 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
08:47 Мониторинг обменников Сrypto-scout.io
23:58 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
20:43 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
18:29 Nexulume.com Обменник без AML и KYC
18:16 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365

14:18 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
08:54 Ставки на супер тренды в спорте
02:01 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
00:53 Список обновленных тем пуст...
00:15 Точные прогнозы на футбол
06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?