правильный robots.txt?

Сообщений: 64 Регистрация: Мар 2011

1 Мая 2011 23:31

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

dle 9.2

Изменено: Федя Федеров - 1 Мая 2011 23:54

Pozzitivsp

Сообщений: 570 Регистрация: Апр 2010

2 Мая 2011 00:01

смотря какой движок и смотря какие директивы нужно закрыть)

Простой и доступный заработок на своих талантах без копейки вложений.

Федя Федеров

Сообщений: 64 Регистрация: Мар 2011

2 Мая 2011 00:07

движок dle 9.2

Dark Tranquillity

Сообщений: 284 Регистрация: Апр 2011

2 Мая 2011 03:07

Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/

CamR111 Сообщений: 28 Регистрация: Апр 2011	#5 2 Мая 2011 11:12 вот у меня стоит: User-agent:* Crawl-delay: 2 User-agent: Unknown robot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /tag/ Disallow: /category/ Disallow: /feed/ Disallow: /comments/ Disallow: /comments/ Disallow: /trackback/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /?* Disallow: /? Sitemap: http://in4cars.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-register.php Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /category/ Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /trackback/ Disallow: /comments/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /? Disallow: /*? Host: in4cars.ru

Новые темы	Объявления	Свободное общение
15:26 Найти элемент в коде 11:51 Bropush - твой бро в монетизации сайта push-уведомлениями 03:12 Сайты-копипасты 21:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 09:59 Ошибка после размещения кода HTML! 15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик 14:43 Партнерская программа OWNR WALLET	20:17 4G/LTE Mobile Proxy 30+ geo 18:03 Обмен без AML и верификации Aztor.pro 17:30 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 16:34 Phoenix - Выгодный обмен электронных валют, без верификации 16:11 ZennoPoster - софт №1 для автоматизации любых SEO задач! 13:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 13:22 Burzh.top\|Партнерская программа под любой вид трафика (email, спам, УБТ)	12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 01:05 Точные прогнозы на футбол 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир... 22:58 У меня дикая просадка по РСЯ за последние 3 суток 21:51 Linux - это максимальная свобода

Новые темы

Объявления

Свободное общение

15:26 Найти элемент в коде
11:51 Bropush - твой бро в монетизации сайта push-уведомлениями
03:12 Сайты-копипасты
21:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
09:59 Ошибка после размещения кода HTML!
15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик
14:43 Партнерская программа OWNR WALLET

20:17 4G/LTE Mobile Proxy 30+ geo
18:03 Обмен без AML и верификации Aztor.pro
17:30 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.
16:34 Phoenix - Выгодный обмен электронных валют, без верификации
16:11 ZennoPoster - софт №1 для автоматизации любых SEO задач!
13:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика
13:22 Burzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ)

12:48 Каспкрски ОС
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
01:05 Точные прогнозы на футбол
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок
15:24 Добро пожаловать в цифровой мир...
22:58 У меня дикая просадка по РСЯ за последние 3 суток
21:51 Linux - это максимальная свобода

16.02.2021 03:07	Перенос сайта, правильный ли план?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
12.09.2018 18:03	Правильный заголовок и описание сайта
29.07.2018 17:42	Запрет страниц в файле robots.txt