Очередной вопрос по Robots.txt

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 17:59

На новый сайт хочу поставить Как вы думаете, этот можно ставить?

Код

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html


Host: сайт

Sitemap: http://Сайт.Ru/sitemap.xml

Или лучше этот?

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://ссайт/sitemap.xml
Host: сайт

User-agent: Googlebot
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://сайт/sitemap.xml
Host: сайт

И где брать sitemap ?

Спасибо!

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:03

Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Партнёрки для заработка!

dimakusch

Сообщений: 335 Регистрация: Июн 2010

7 Декабря 2012 18:07

Цитата

WSairus пишет:
Что за двигло будет - WP или угадывать надо. И зачем разделять секции для Yandex и Google. А еще оригинальнее для * и Yandex - по типу для людей и для женщин чтоли? Воспользуйтесь поиском - на форуме есть роботы для любого движка. Все это многократно обсуждалось.

Извиняюсь, забыл написать DLE. Так я уже нашел на одном форуме эти роботс, но не знаю или они правильные.
Если 2й не подходит, то первый можно использовать?Этот можно ставить?

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Sitemap: http://Сайт.Ru/sitemap.xml

Изменено: dimakusch - 7 Декабря 2012 18:08

WSairus

Сообщений: 1432 Регистрация: Июн 2010

7 Декабря 2012 18:16

Есть статья правильный robots для DLE, хотя я обычно ставлю такой:

Код

User-agent: * 
Disallow: /autobackup.php 
Disallow: /admin.php 
Disallow: /*print 
Disallow: /user/ 
Disallow: /backup/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /uploads/ 
Disallow: /newposts/ 
Disallow: /favorites/ 
Disallow: /index.php?do=addnews 
Disallow: /index.php?do=feedback 
Disallow: /index.php?do=lostpassword 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=register 
Disallow: /index.php?do=stats 
Disallow: /index.php?do=search 
Disallow: /index.php?do=lastcomments 
Disallow: /index.php?subaction=newposts 
Disallow: /statistics.html 
Disallow: /addnews.html
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

mozambik Сообщений: 652 Регистрация: Ноя 2011	#5 7 Декабря 2012 18:30 Первое, что заметил - уберите: Disallow: /uploads/В противном случае, картинки не будут индексироваться.

30.03.2025 17:11	Вопрос по продаже товаров по результатам запросов в Yandex Wordstat
07.12.2023 23:30	ВОпросы оптимизации сайта
29.11.2023 20:40	Вопросы по продвижению на поддоменах
15.02.2022 18:00	Вопрос по размещению ключей
05.08.2021 00:39	Вопрос по keywords

Новые темы	Объявления	Свободное общение
17:17 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 16:46 Раскрутка форума 13:54 Как поймать партнера на «сливе» бренда? 10:50 Альтернативы Адсенсу в 2026 - есть живые? 10:06 Очередной взлом через плагин. Хакеры получают админку без пароля 09:59 adsense в 2026: кто реально выводит копейку через киргизию? 20:40 Мошенники-копирайтеры	15:33 GhostRocket.pro — Взлетаем в новую эру криптообмена! 14:36 Продам жирный аккаунт fl.ru 14:07 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 12:54 Mixmasters - Exchange without AML and KYC 12:31 Сервис ReCaptcha 2, 30р за 1000 решений. 12:08 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 12:06 Trustpilot Reviews \| Подниму рейтинг вашей компании	16:47 Какой фильм вы любите посмотреть перед сном? 15:57 Огородники 15:49 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 15:46 молодильные яблоки и живая вода 10:11 О природе путешествий. 01:47 Точные прогнозы на футбол 15:04 Сайты Рунета