правильный robots.txt?

Сообщений: 64 Регистрация: Мар 2011

1 Мая 2011 23:31

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

dle 9.2

Изменено: Федя Федеров - 1 Мая 2011 23:54

Pozzitivsp

Сообщений: 570 Регистрация: Апр 2010

2 Мая 2011 00:01

смотря какой движок и смотря какие директивы нужно закрыть)

Простой и доступный заработок на своих талантах без копейки вложений.

Федя Федеров

Сообщений: 64 Регистрация: Мар 2011

2 Мая 2011 00:07

движок dle 9.2

Dark Tranquillity

Сообщений: 284 Регистрация: Апр 2011

2 Мая 2011 03:07

Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/

CamR111 Сообщений: 28 Регистрация: Апр 2011	#5 2 Мая 2011 11:12 вот у меня стоит: User-agent:* Crawl-delay: 2 User-agent: Unknown robot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /tag/ Disallow: /category/ Disallow: /feed/ Disallow: /comments/ Disallow: /comments/ Disallow: /trackback/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /?* Disallow: /? Sitemap: http://in4cars.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-register.php Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /category/ Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /trackback/ Disallow: /comments/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /? Disallow: /*? Host: in4cars.ru

Новые темы	Объявления	Свободное общение
17:03 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги! 15:08 Стоит ли добавлять сайт в Rambler топ 100? 14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:02 Как продвигать сайт с неуникальным контентом 08:57 Absence в Армении 14:50 Индексация страниц	22:05 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 20:56 Cryptonet.pro - быстрый и надежный обмен электронных валют! 16:58 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 14:30 SwapPix.io - быстрый и безопасный обменник криптовалют. 13:55 Обменник криптовалюты OnlyCrypto 13:36 Affiliate Top - партнерская программа нового уровня 10:29 local-pay.com - быстрый и надежный обменник криптовалюты Local-Pay	22:28 Ну что, кто куда деваете свои сайты? 20:48 Точные прогнозы на футбол 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

Новые темы

Объявления

Свободное общение

17:03 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги!
15:08 Стоит ли добавлять сайт в Rambler топ 100?
14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
09:02 Как продвигать сайт с неуникальным контентом
08:57 Absence в Армении
14:50 Индексация страниц

22:05 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
20:56 Cryptonet.pro - быстрый и надежный обмен электронных валют!
16:58 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
14:30 SwapPix.io - быстрый и безопасный обменник криптовалют.
13:55 Обменник криптовалюты OnlyCrypto
13:36 Affiliate Top - партнерская программа нового уровня
10:29 local-pay.com - быстрый и надежный обменник криптовалюты Local-Pay

22:28 Ну что, кто куда деваете свои сайты?
20:48 Точные прогнозы на футбол
22:09 Добро пожаловать в цифровой мир...
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
22:08 Накрутка поисковых подсказок
14:01 Union Pharm - топовая фарма-партнерка для профессионалов!
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

16.02.2021 03:07	Перенос сайта, правильный ли план?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
12.09.2018 18:03	Правильный заголовок и описание сайта
29.07.2018 17:42	Запрет страниц в файле robots.txt