правильный robots.txt?

Сообщений: 64 Регистрация: Мар 2011

1 Мая 2011 23:31

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

dle 9.2

Изменено: Федя Федеров - 1 Мая 2011 23:54

Бесплатная контекстная реклама

Pozzitivsp

Сообщений: 570 Регистрация: Апр 2010

2 Мая 2011 00:01

смотря какой движок и смотря какие директивы нужно закрыть)

Простой и доступный заработок на своих талантах без копейки вложений.

Федя Федеров

Сообщений: 64 Регистрация: Мар 2011

2 Мая 2011 00:07

движок dle 9.2

Dark Tranquillity

Сообщений: 284 Регистрация: Апр 2011

2 Мая 2011 03:07

Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/

CamR111 Сообщений: 28 Регистрация: Апр 2011	#5 2 Мая 2011 11:12 вот у меня стоит: User-agent:* Crawl-delay: 2 User-agent: Unknown robot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /tag/ Disallow: /category/ Disallow: /feed/ Disallow: /comments/ Disallow: /comments/ Disallow: /trackback/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /?* Disallow: /? Sitemap: http://in4cars.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-register.php Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /category/ Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /trackback/ Disallow: /comments/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /? Disallow: /*? Host: in4cars.ru

Новые темы	Объявления	Свободное общение
16:24 Помощь новичку 16:05 Откуда мейл берет адрес компании? 15:52 22 сентября 2017 : Текстовый апдейт и обновление базы 14:28 Исчезли блоки со страниц 14:04 Лучшая рекламная сеть Traffic.ru! 11:40 Апдейт ТИЦ 15 августа 2017 10:57 Сайт резко упал в Google за последнюю неделю	16:23 XMLGold.eu (Perfect Money, Bank wire, Bitcoin, Litecoin, AdvCash, Payeer, Paypal) 15:58 Аудит сайта по низкой цене 15:39 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 14:27 Продвижение сайтов сателлитами. Создание сетки сателлитов для продвижения Вашего сайта 13:07 Раскрутка сайта в Яндекс, Гугл, прогоны более 3500 ссылок с Тиц 12:52 Легко! Качественно! Доступно! Профессионально пишу и размножаю тексты 12:39 Трафик по ключевым словам из поисковиков	16:39 Callback сервис для малопосещаемых сайтов (экономия 80%) 16:02 Странное явление Яндекс директа 15:44 Не работает опера VPN, что делать? 15:31 Как в урл .php заменить на слэш 14:51 Осторожно! Возможно, мошенник 13:52 Конференция Blockchain Life 2017 (26 сентября, г. Санкт-Петербург) 13:06 Создание сайта

Новые темы

Объявления

Свободное общение

16:24 Помощь новичку
16:05 Откуда мейл берет адрес компании?
15:52 22 сентября 2017 : Текстовый апдейт и обновление базы
14:28 Исчезли блоки со страниц
14:04 Лучшая рекламная сеть Traffic.ru!
11:40 Апдейт ТИЦ 15 августа 2017
10:57 Сайт резко упал в Google за последнюю неделю

16:23 XMLGold.eu (Perfect Money, Bank wire, Bitcoin, Litecoin, AdvCash, Payeer, Paypal)
15:58 Аудит сайта по низкой цене
15:39 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000
14:27 Продвижение сайтов сателлитами. Создание сетки сателлитов для продвижения Вашего сайта
13:07 Раскрутка сайта в Яндекс, Гугл, прогоны более 3500 ссылок с Тиц
12:52 Легко! Качественно! Доступно! Профессионально пишу и размножаю тексты
12:39 Трафик по ключевым словам из поисковиков

16:39 Callback сервис для малопосещаемых сайтов (экономия 80%)
16:02 Странное явление Яндекс директа
15:44 Не работает опера VPN, что делать?
15:31 Как в урл .php заменить на слэш
14:51 Осторожно! Возможно, мошенник
13:52 Конференция Blockchain Life 2017 (26 сентября, г. Санкт-Петербург)
13:06 Создание сайта

30.08.2017 22:17	Почему анализ сайта показывает что на сайте нет sitemap и robots.txt
11.08.2017 09:00	Файл робот robots.txt
28.06.2017 22:49	Помогите настроить правильно robots txt
07.06.2017 14:59	Не видит robots
16.03.2017 11:50	Можно ли закрыть в robots несуществующие страницы?