правильный robots.txt?

Сообщений: 64 Регистрация: Мар 2011

1 Мая 2011 23:31

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт

dle 9.2

Изменено: Федя Федеров - 1 Мая 2011 23:54

Pozzitivsp

Сообщений: 570 Регистрация: Апр 2010

2 Мая 2011 00:01

смотря какой движок и смотря какие директивы нужно закрыть)

Простой и доступный заработок на своих талантах без копейки вложений.

Федя Федеров

Сообщений: 64 Регистрация: Мар 2011

2 Мая 2011 00:07

движок dle 9.2

Dark Tranquillity

Сообщений: 284 Регистрация: Апр 2011

2 Мая 2011 03:07

Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/

CamR111 Сообщений: 28 Регистрация: Апр 2011	#5 2 Мая 2011 11:12 вот у меня стоит: User-agent:* Crawl-delay: 2 User-agent: Unknown robot Disallow: / User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /trackback/ Disallow: /tag/ Disallow: /category/ Disallow: /feed/ Disallow: /comments/ Disallow: /comments/ Disallow: /trackback/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /?* Disallow: /? Sitemap: http://in4cars.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin/ Disallow: /wp-register.php Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /category/ Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /tag/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: /trackback/ Disallow: /comments/ Disallow: /feed/ Disallow: /?feed= Disallow: /?s= Disallow: /? Disallow: /*? Host: in4cars.ru

Новые темы	Объявления	Свободное общение
14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 14:31 Robots txt 12:18 С чего сейчас проще начать? 02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 22:19 Телега на ручнике: РКН включил замедление и логи админок покраснели 22:16 Продажа и покупка Дзен-каналов 17:17 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня	14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 14:22 Продажа аккаунтов HH.RU 12:29 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 11:22 BestChange – обменивать электронную валюту можно быстро и выгодно 11:00 WordChecker Extension - браузерное расширение для проверки позиций в Яндексе 10:19 MIG-OBMEN.net — Быстрый и надежный обмен цифровых активов 08:45 Swapwatch.org — Мониторинг криптовалютных обменников	13:54 Актуально для тех кто хочет заработать в интернете 13:53 Панель Кнопки соцсетей 13:31 Ставки на супер тренды в спорте 08:57 молодильные яблоки и живая вода 02:27 Точные прогнозы на футбол 02:23 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 21:46 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?

Новые темы

Объявления

Свободное общение

14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный
14:31 Robots txt
12:18 С чего сейчас проще начать?
02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
22:19 Телега на ручнике: РКН включил замедление и логи админок покраснели
22:16 Продажа и покупка Дзен-каналов
17:17 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня

14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
14:22 Продажа аккаунтов HH.RU
12:29 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
11:22 BestChange – обменивать электронную валюту можно быстро и выгодно
11:00 WordChecker Extension - браузерное расширение для проверки позиций в Яндексе
10:19 MIG-OBMEN.net — Быстрый и надежный обмен цифровых активов
08:45 Swapwatch.org — Мониторинг криптовалютных обменников

13:54 Актуально для тех кто хочет заработать в интернете
13:53 Панель Кнопки соцсетей
13:31 Ставки на супер тренды в спорте
08:57 молодильные яблоки и живая вода
02:27 Точные прогнозы на футбол
02:23 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
21:46 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?

16.02.2021 03:07	Перенос сайта, правильный ли план?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
12.09.2018 18:03	Правильный заголовок и описание сайта
29.07.2018 17:42	Запрет страниц в файле robots.txt