Очередной вопрос по Robots.txt

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 17:59

На новый сайт хочу поставить Как вы думаете, этот можно ставить?

Код

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html


Host: сайт

Sitemap: http://Сайт.Ru/sitemap.xml

Или лучше этот?

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://ссайт/sitemap.xml
Host: сайт

User-agent: Googlebot
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://сайт/sitemap.xml
Host: сайт

И где брать sitemap ?

Спасибо!

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:03

Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Партнёрки для заработка!

dimakusch

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 18:07

Цитата

WSairus пишет:
Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Извиняюсь, забыл написать DLE. Так я уже нашел на одном форуме эти роботс, но не знаю или они правильные.
Если 2й не подходит, то первый можно использовать?Этот можно ставить?

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

Изменено: dimakusch - 7 Декабря 2012 18:08

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:16

Есть статья правильный robots для DLE, хотя я обычно ставлю такой:

Код

User-agent: * 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /newposts/ 
Disallow: /favorites/ 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=lastcomments 
Disallow: /index.php?subaction=newposts 
Disallow: /statistics.html 
Disallow: /addnews.html
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

mozambik Сообщений: 652 Регистрация: Ноя 2011	#5 7 Декабря 2012 18:30 Первое, что заметил - уберите: Disallow: /uploads/В противном случае, картинки не будут индексироваться.

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Новые темы	Объявления	Свободное общение
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 08:23 Rotapost прикрыли! Чем пользоваться? 17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).	18:24 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 16:59 Сайты с зарубежным трафиком КУПЛЮ 16:50 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 16:50 Trustpilot Reviews \| Подниму рейтинг вашей компании 16:50 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 16:49 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 16:46 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь