Robot.txt

Сообщений: 21 Регистрация: Окт 2016

19 Ноября 2016 13:31

Подскажите, это нормальный робот? Или подредактировать помогите, ели не сложно конечно.

Цитата

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Disallow: /poisk
User-agent: YandexBot
Disallow: /*id=
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/
Crawl-delay: 5
Host: megapda.ru/

Allow: /
Sitemap: megapda.ru/sitemap_index.xml

Артем Малков

Сообщений: 725 Регистрация: Апр 2011

19 Ноября 2016 15:32

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Самый быстрый хостинг на SSD. Месяц в подарок. Поддержка 24/7. Помощь в переезде.

Передовое сообщество вебмастеров. Тебе к нам!

Владимир Гриценко

Сообщений: 21 Регистрация: Окт 2016

20 Ноября 2016 01:33

Артем Малков, спасибо огромное!

Вячеслав Шаров

Сообщений: 9914 Регистрация: Июн 2015

20 Ноября 2016 08:04

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: its-k.ru

Sitemap: http://its-k.ru /sitemap.xml.gz
Sitemap: http://its-k.ru /sitemap.xml

Вот наиболее стабильный!

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Вячеслав Шаров

Сообщений: 9914 Регистрация: Июн 2015

20 Ноября 2016 08:05

Прошу модератора ссылки затереть) Случайно

Алексей

Сообщений: 252 Регистрация: Июл 2013

20 Ноября 2016 10:36

Цитата
Подскажите, это нормальный робот? Или подредактировать помогите, ели не сложно конечно.

Вы его откуда-то тупо скопировали для своего сайта? значит ненормальный! если ошибок в написании правил нет, то это вовсе не означает, что скопированный robots.txt будет работать правильно на вашем сайте. Для каждого проекта необходимо составлять свой robots.txt, в зависимости от задачи.

Дормедонт Пирюсик Сообщений: 613 Регистрация: Июн 2010	#7 22 Ноября 2016 14:03 А я наоборот всё для всех запрещаю,а потом открываю только что надо. У меня вопрос как правильно оформлять карту сайта в роботс.тхт, если их несколько. Добавить только главный файл,ссылками на другие файлы или все добавлять? Т.е. например, достаточно только так: sitemap_main.xml или, например, так: sitemap_main.xml sitemap_news.xml sitemap_pages.xml ... Паразитическая плесень когда-нибудь обязательно предъявит обвинение, что её не пускают в цветущий сад.

01.04.2026 18:01	Раскрутка форума
31.03.2026 18:16	С чего сейчас проще начать?
25.03.2026 20:40	Мошенники-копирайтеры
23.03.2026 19:37	Xrumer-полезный софт или нет?
09.03.2026 10:12	Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума

Новые темы	Объявления	Свободное общение
23:09 AI под надзором. Минцифры готовят клеймо для контента 22:53 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 19:02 Gambling Craft - гемблинг по белому 17:03 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта	22:02 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 21:58 Trustpilot Reviews \| Подниму рейтинг вашей компании 21:58 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 21:57 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 19:58 GhostRocket.pro — Взлетаем в новую эру криптообмена! 16:02 Bardo — Бюро развития и координации цифровых операций. 15:55 Русские народные сказки - оцените!	23:42 молодильные яблоки и живая вода 15:49 Огородники 00:06 Точные прогнозы на футбол 16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 22:45 С юмором по жизни! 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)