Правильный Robots для DLE

Сообщений: 2189 Регистрация: Ноя 2010

4 Октября 2012 21:56

Правильный ли это робот?
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://www.my_site.ru/sitemap.xml

User-agent: Mediapartners-Google
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://www.my_site.ru/sitemap.xml
Host: www.my_site.ru

Цена Биткоин в 2020
Биржа криптовалют

felis_serval

Сообщений: 11061 Регистрация: Окт 2010

4 Октября 2012 22:01

User-agent: *
Host: ***
Sitemap: http://***/sitemap.xml

а всё остальное закрыть в метатегах)

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

4 Октября 2012 22:03

Правильный robots.txt для DLE – какой он?
http://alaev.info/blog/post/3900
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

ICQ: 647366012 Skype: ftpzerocool</b>

mons

Сообщений: 433 Регистрация: Окт 2010

4 Октября 2012 22:04

Правильный robots.txt для DLE – какой он?

заходишь на американский форум, задаешь вопрос, тебе объясняют, как ее решить
заходишь на еврейский, задаешь вопрос, тебе предлагают, купить решение за деньги
заходишь на русский форум, задаешь вопрос и тебе весь форум объясняет, что ты мудак

Франческо Фиери

Сообщений: 2189 Регистрация: Ноя 2010

4 Октября 2012 22:13

Спасибо щас попробую сдела

Цитата
felis_serval пишет: User-agent: * Host: * Sitemap: http://*/sitemap.xml а всё остальное закрыть в метатегах)

Цитата
mons пишет: Правильный robots.txt для DLE – какой он?

Спасибо, щас попробую сделать

Новые темы	Объявления	Свободное общение
17:03 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги! 15:08 Стоит ли добавлять сайт в Rambler топ 100? 14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:02 Как продвигать сайт с неуникальным контентом 08:57 Absence в Армении 14:50 Индексация страниц	04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 22:05 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 20:56 Cryptonet.pro - быстрый и надежный обмен электронных валют! 16:58 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 14:30 SwapPix.io - быстрый и безопасный обменник криптовалют. 13:55 Обменник криптовалюты OnlyCrypto 13:36 Affiliate Top - партнерская программа нового уровня	22:28 Ну что, кто куда деваете свои сайты? 20:48 Точные прогнозы на футбол 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

Новые темы

Объявления

Свободное общение

17:03 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги!
15:08 Стоит ли добавлять сайт в Rambler топ 100?
14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
09:02 Как продвигать сайт с неуникальным контентом
08:57 Absence в Армении
14:50 Индексация страниц

04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
22:05 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
20:56 Cryptonet.pro - быстрый и надежный обмен электронных валют!
16:58 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
14:30 SwapPix.io - быстрый и безопасный обменник криптовалют.
13:55 Обменник криптовалюты OnlyCrypto
13:36 Affiliate Top - партнерская программа нового уровня

22:28 Ну что, кто куда деваете свои сайты?
20:48 Точные прогнозы на футбол
22:09 Добро пожаловать в цифровой мир...
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
22:08 Накрутка поисковых подсказок
14:01 Union Pharm - топовая фарма-партнерка для профессионалов!
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

16.02.2021 03:07	Перенос сайта, правильный ли план?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
12.09.2018 18:03	Правильный заголовок и описание сайта
29.07.2018 17:42	Запрет страниц в файле robots.txt