правильный robots.txt?

Сообщений: 64 Регистрация: Мар 2011

1 Мая 2011 23:31

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

dle 9.2

Изменено: Федя Федеров - 1 Мая 2011 23:54

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Pozzitivsp

Сообщений: 570 Регистрация: Апр 2010

2 Мая 2011 00:01

смотря какой движок и смотря какие директивы нужно закрыть)

Простой и доступный заработок на своих талантах без копейки вложений.

Федя Федеров

Сообщений: 64 Регистрация: Мар 2011

2 Мая 2011 00:07

движок dle 9.2

Dark Tranquillity

Сообщений: 284 Регистрация: Апр 2011

2 Мая 2011 03:07

Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/

CamR111 Сообщений: 28 Регистрация: Апр 2011	#5 2 Мая 2011 11:12 вот у меня стоит: User-agent:* Crawl-delay: 2 User-agent: Unknown robot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /tag/ Disallow: /category/ Disallow: /feed/ Disallow: /comments/ Disallow: /comments/ Disallow: /trackback/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /?* Disallow: /? Sitemap: http://in4cars.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-register.php Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /category/ Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /trackback/ Disallow: /comments/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /? Disallow: /*? Host: in4cars.ru

Новые темы	Объявления	Свободное общение
02:34 Подтверждение в AdSense 00:36 внедрить код в страницу WordPress 00:32 Чтобы страницы открывались в новом окне 00:29 Клоакинг. Кто-нибудь использует? В каких областях? 00:25 Внешние переходы с iframe-toloka.com - как с ними бороться? 23:58 Сайт резко упал в Google за последнюю неделю 22:21 гугл топ 10	02:28 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 01:19 [Обмен] Покупка/Продажа/Вывод Webmoney,Qiwi,BTC-E, Яндекс Деньги,Сбербанк,Альфа,Беларусбанк,Открытие,Easypay 00:59 Вывод в ТОП Google. 30 вечных ссылок с PR9 00:50 Вы хотите ТОПов? Их есть у меня! 23:22 Оцените сайт zzap-avto.ru 20:12 Продам аккаунты 1 ТБ Облако@Mail.ru 18:41 Верстаю макеты по PSD и JPG картинкам, натягиваю на любые CMS	02:27 Как заменить в БД теги заголовков 01:50 Наши машинки 22:44 Спам (приглашения) в ВК 21:24 Помогите найти программу или плагин на браузер для копирования текста с защищенной от копирования сайтов 17:29 0.0006 BTC в сутки за регистрацию 15:47 нужен сео-оптимизатор на офрум 15:07 Ссылочное ранжирование еще живо?

Новые темы

Объявления

Свободное общение

02:34 Подтверждение в AdSense
00:36 внедрить код в страницу WordPress
00:32 Чтобы страницы открывались в новом окне
00:29 Клоакинг. Кто-нибудь использует? В каких областях?
00:25 Внешние переходы с iframe-toloka.com - как с ними бороться?
23:58 Сайт резко упал в Google за последнюю неделю
22:21 гугл топ 10

02:28 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов)
01:19 [Обмен] Покупка/Продажа/Вывод Webmoney,Qiwi,BTC-E, Яндекс Деньги,Сбербанк,Альфа,Беларусбанк,Открытие,Easypay
00:59 Вывод в ТОП Google. 30 вечных ссылок с PR9
00:50 Вы хотите ТОПов? Их есть у меня!
23:22 Оцените сайт zzap-avto.ru
20:12 Продам аккаунты 1 ТБ Облако@Mail.ru
18:41 Верстаю макеты по PSD и JPG картинкам, натягиваю на любые CMS

02:27 Как заменить в БД теги заголовков
01:50 Наши машинки
22:44 Спам (приглашения) в ВК
21:24 Помогите найти программу или плагин на браузер для копирования текста с защищенной от копирования сайтов
17:29 0.0006 BTC в сутки за регистрацию
15:47 нужен сео-оптимизатор на офрум
15:07 Ссылочное ранжирование еще живо?

28.06.2017 22:49	Помогите настроить правильно robots txt
07.06.2017 14:59	Не видит robots
16.03.2017 11:50	Можно ли закрыть в robots несуществующие страницы?
04.03.2017 13:21	Анализатор сайта показывает неправильный заголовок h1
26.02.2017 09:40	Файл robots