Помогите с файлом robots

Сообщений: 19 Регистрация: Май 2010

14 Мая 2010 14:31

Помогите сделать нормальный файл он находится по адресу http://udesigner.ru/robots.txt

Просто поисковики че то иногда не довольны.

На каком то сайте анализа он мне показал

Лучше всего сделать один robots.txt, в котором кодировки выдаются по директориям:

user-agent: *
disallow: /alt
disallow: /mac
disallow: /koi

Помогите за ранее спасибо !

И еще че то пишет по поводу кодировки на сайте помогите ((

Изменено: Shadow52rus - 14 Мая 2010 14:32

SoStrong

Сообщений: 5 Регистрация: Апр 2010

14 Мая 2010 15:02

DLE

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
User-agent: Yandex
Host: www.domain.ru

DLE

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
User-agent: Yandex
Host: www.domain.ru

IPB

User-agent: *
Disallow: /cgi-bin
Disallow: /admin.php
Disallow: /ipb.html?act=Help
Disallow: /ipb.html?act=Search&f=
Disallow: /ipb.html?act=Members
Disallow: /ipb.html?act=calendar
Disallow: /ipb.html?act=Login&CODE=00
Disallow: /ipb.html?act=Reg&CODE=00
Disallow: /ipb.html?act=Online&CODE=listall&sort_key=click
Disallow: /ipb.html?act=Online&CODE=listall&sort_key=name&sort_order=asc&show_mem=reg
Disallow: /ipb.html?act=Stats
Disallow: /ipb.html?act=Stats&CODE=leaders
Disallow: /ipb.html?act=Reg&CODE=10
Host: www.domain.ru

WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: blogproblog.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

uCoz

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: www.domain.ru
Sitemap:www.domain.ru/sitemap.xml
Sitemap:www.domain..ru/sitemap-forum.xml

SMF

User-agent: *
Disallow: /forum/*action*
Disallow: /forum/*sort*
Disallow: /forum/*msg*
Disallow: /forum/*prev_next*
Disallow: /forum/*;all
Disallow: /forum/*;wap
Disallow: /forum/*;wap2
Disallow: /forum/*;imode
Disallow: /forum/Themes/

Shadow52rus

Сообщений: 19 Регистрация: Май 2010

14 Мая 2010 16:53

WordPress

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: blogproblog.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

У меня вордпресс то есть так вот надо ?

Shadow52rus

Сообщений: 19 Регистрация: Май 2010

14 Мая 2010 23:18

В чем прикол ? smile:mad:

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

15 Мая 2010 14:33

В том, что кто-то тут по полной ламерит, а в других темах обсирает уважаемых участников.

Shadow52rus

Сообщений: 19 Регистрация: Май 2010

15 Мая 2010 16:02

Цитата
Dizzy пишет: В том, что кто-то тут по полной ламерит, а в других темах обсирает уважаемых участников.

ты о чем ?

Надо вести подобаюче себя !

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

16 Мая 2010 16:51

Цитата

Joker пишет:

Цитата
Dizzy пишет: В том, что кто-то тут по полной ламерит, а в других темах обсирает уважаемых участников.

Не устал еще, пидрилко? )

Ты опять выходишь на связь, мудило?

Niklan

Сообщений: 1521 Регистрация: Мар 2010

16 Мая 2010 18:11

CityAds - партнерка для игрового и бизнес трафика.

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

16 Мая 2010 19:15

клоуны такие клоуны
Рисунок

Изменено: Dizzy - 16 Мая 2010 19:16

Shadow52rus

Сообщений: 19 Регистрация: Май 2010

#10

17 Мая 2010 11:44

не флудите в теме зае..... уже ! помогите лучше ! smile:mad:

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

#11

17 Мая 2010 14:02

Цитата
Joker пишет: А ты кто ? Себя покажешь? )))) Хотя бы что-то

Не шевелю лишний раз пальцами.

Цитата
помогите лучше !

Как тебе можно помочь, если как ты говориш,

Цитата
Просто поисковики че то иногда не довольны.

кароче конкретизируй проблему..

Shadow52rus

Сообщений: 19 Регистрация: Май 2010

#12

18 Мая 2010 13:02

Файл Роботс нормальный у меня ? или что то не правильно или что то не хватает ?

antontv2006

Сообщений: 13 Регистрация: Мар 2010

#13

24 Мая 2010 17:42

У меня лично такой мож кому поможет после него индекс улучшился
User-Agent: *
Allow: /index.php
Allow: /main/
Allow: /softs/
Allow: /video/
Allow: /music/
Allow: /inter/
Allow: /rusifikator/
Allow: /kis/
Allow: /games/
Allow: /fanis/
Allow: /other/
Allow: /skript/
Allow: /chp/
Allow: /mobilca/
Allow: /dj/
Allow: /

Crawl-delay: 10
Sitemap: http://Сайт.ru/uploads/sitemap.xml

Disallow: /go
Disallow: /search
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /backup/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: Сайт.ru

Dizzy Сообщений: 2729 Регистрация: Мар 2010	#14 24 Мая 2010 19:08 antontv2006, как он может помочь, если ты не указал движок?

Похожие темы:

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:02 Как безопасно купить Гугл почту? 23:28 че по ПФ щас реально работает?? (кроме старья) 23:26 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini? 22:47 29.01. Апдейт: Шторм // Вчера отдали 3% с оборота? 22:46 Продвижение-2022: Гугл все? Нет – Гугл не все! 10:40 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 07:58 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать	23:03 SOCKS5 приватные прокси на 30 дней для PayPal 23:02 Google Voice аккаунты для бесплатных SMS и звонков 23:02 PayPal аккаунты для любых целей 16:44 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 14:38 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 13:32 Мониторинг обменников Сrypto-scout.io 13:16 Скрипт обменника валют	23:24 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 22:57 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux 16:25 Подтягиваем физкультурку 08:18 Тренера "Сочи" обвинили, что он рулил через ChatGPT. Игрокам предложили не спать 28 часов 08:09 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут?