Правильный Robots для DLE

Сообщений: 2190 Регистрация: Ноя 2010

4 Октября 2012 21:56

Правильный ли это робот?
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://www.my_site.ru/sitemap.xml

User-agent: Mediapartners-Google
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://www.my_site.ru/sitemap.xml
Host: www.my_site.ru

Оживить старые Фото

felis_serval

Сообщений: 11061 Регистрация: Окт 2010

4 Октября 2012 22:01

User-agent: *
Host: ***
Sitemap: http://***/sitemap.xml

а всё остальное закрыть в метатегах)

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

4 Октября 2012 22:03

Правильный robots.txt для DLE – какой он?
http://alaev.info/blog/post/3900
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

ICQ: 647366012 Skype: ftpzerocool</b>

mons

Сообщений: 433 Регистрация: Окт 2010

4 Октября 2012 22:04

Правильный robots.txt для DLE – какой он?

заходишь на американский форум, задаешь вопрос, тебе объясняют, как ее решить
заходишь на еврейский, задаешь вопрос, тебе предлагают, купить решение за деньги
заходишь на русский форум, задаешь вопрос и тебе весь форум объясняет, что ты мудак

Франческо Фиери

Сообщений: 2190 Регистрация: Ноя 2010

4 Октября 2012 22:13

Спасибо щас попробую сдела

Цитата
felis_serval пишет: User-agent: * Host: * Sitemap: http://*/sitemap.xml а всё остальное закрыть в метатегах)

Цитата
mons пишет: Правильный robots.txt для DLE – какой он?

Спасибо, щас попробую сделать

Новые темы	Объявления	Свободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 08:23 Rotapost прикрыли! Чем пользоваться? 17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница) 14:43 Onechange.me — надежный обменник криптовалют и фиатных средств 14:03 Quix Email - сервис почтовых активаций 13:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 13:34 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 22:41 SOCKS5 приватные прокси на 30 дней для PayPal	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense?
08:23 Rotapost прикрыли! Чем пользоваться?
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг

14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница)
14:43 Onechange.me — надежный обменник криптовалют и фиатных средств
14:03 Quix Email - сервис почтовых активаций
13:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
13:34 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
22:41 SOCKS5 приватные прокси на 30 дней для PayPal

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

16.02.2021 03:07	Перенос сайта, правильный ли план?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
12.09.2018 18:03	Правильный заголовок и описание сайта
29.07.2018 17:42	Запрет страниц в файле robots.txt