Очередной вопрос по Robots.txt

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 17:59

На новый сайт хочу поставить Как вы думаете, этот можно ставить?

Код

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html


Host: сайт

Sitemap: http://Сайт.Ru/sitemap.xml

Или лучше этот?

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://ссайт/sitemap.xml
Host: сайт

User-agent: Googlebot
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://сайт/sitemap.xml
Host: сайт

И где брать sitemap ?

Спасибо!

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:03

Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Партнёрки для заработка!

dimakusch

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 18:07

Цитата

WSairus пишет:
Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Извиняюсь, забыл написать DLE. Так я уже нашел на одном форуме эти роботс, но не знаю или они правильные.
Если 2й не подходит, то первый можно использовать?Этот можно ставить?

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

Изменено: dimakusch - 7 Декабря 2012 18:08

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:16

Есть статья правильный robots для DLE, хотя я обычно ставлю такой:

Код

User-agent: * 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /newposts/ 
Disallow: /favorites/ 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=lastcomments 
Disallow: /index.php?subaction=newposts 
Disallow: /statistics.html 
Disallow: /addnews.html
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

mozambik Сообщений: 652 Регистрация: Ноя 2011	#5 7 Декабря 2012 18:30 Первое, что заметил - уберите: Disallow: /uploads/В противном случае, картинки не будут индексироваться.

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Новые темы	Объявления	Свободное общение
20:57 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 20:20 кликните сюда 14:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:38 2Index - быстрая индексация страниц сайта и обратных ссылок 12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 23:09 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума?	23:26 Sova.gg - надежный обменник криптовалюты. 19:23 Mixmasters - Exchange without AML and KYC 15:54 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:05 TETChange-Обменник криптовалют 12:36 Nexulume.com Обменник без AML и KYC 09:12 Swapwatch.org — Мониторинг криптовалютных обменников 09:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	00:11 Точные прогнозы на футбол 12:41 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 06:26 Ставки на супер тренды в спорте 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем