помогите с роботс-ом

Сообщений: 298 Регистрация: Июн 2011

9 Августа 2012 12:08

Немогу понять что и как прописывать в роботсе, хочу закрыть все лишнее а его очень много, дубли страниц и.т.д.
Вот например было так на прошлом сайте, У гугла проиндексированно 1000 страниц под фильтрами а на самом деле их примерно 50 (статей) роботс был стандартный CMS Dle.

Помогите как и что нужно закрывать и прописывать?

Спасибо заранее.

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

9 Августа 2012 12:09

Cvetnik,

для какой CMS ?

для DLE я использую такой

Код

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Disallow: /page/
Disallow: /index.php
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /?do=register
Disallow: /index.php?do=feedback
Disallow: /?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

как итог 100% страниц не под фильтром

ICQ: 647366012 Skype: ftpzerocool</b>

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

9 Августа 2012 12:09

Cvetnik, могу помочь, пиши в ЛС или асю

Кино здесь или здесь | СЯ без мусора | 2,5 руб за безанкор | Ищу подработку

Cvetnik

Сообщений: 298 Регистрация: Июн 2011

9 Августа 2012 12:12

ZerocooL, Спасибо

Алексей SP, Вы знаете лучше?

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

9 Августа 2012 12:18

Цитата
Cvetnik пишет: Вы знаете лучше?

Мы написали вместе с Зеро, я не видел его поста.
А так нужно каждый сайт индивидуально настраивать, некоторые моменты не закрыть стандартным, ну это мелочи.

Новые темы	Объявления	Свободное общение
23:01 Слипание слов в блоке 22:56 PHP 8 ломает старые сайты. Кто уже обновился - что отвалилось? 22:50 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 20:50 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 20:34 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 20:28 Почему даже при маленьком трафике сервер умирает? Разбираем реальные причины 20:00 Как монетизировать сайт игровой тематики.	09:31 Monitex: Мониторинг с кэшбэком 80% в USDT 22:14 Услуги рассылки Viber\|Whatsapp\|IMO. 22:14 Прием платежей для HIGH RISK \| Прием платежей без сайта 18:17 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 18:06 Mixmasters - Exchange without AML and KYC 16:55 Русские народные сказки - оцените! 16:34 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика	22:50 Список обновленных тем пуст... 22:33 А вы бегаете? 18:06 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 16:40 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа 15:29 арбитражники 14:06 С юмором по жизни! 10:18 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

23:01 Слипание слов в блоке
22:56 PHP 8 ломает старые сайты. Кто уже обновился - что отвалилось?
22:50 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?
20:50 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта
20:34 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google
20:28 Почему даже при маленьком трафике сервер умирает? Разбираем реальные причины
20:00 Как монетизировать сайт игровой тематики.

09:31 Monitex: Мониторинг с кэшбэком 80% в USDT
22:14 Услуги рассылки Viber|Whatsapp|IMO.
22:14 Прием платежей для HIGH RISK | Прием платежей без сайта
18:17 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
18:06 Mixmasters - Exchange without AML and KYC
16:55 Русские народные сказки - оцените!
16:34 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика

22:50 Список обновленных тем пуст...
22:33 А вы бегаете?
18:06 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
16:40 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа
15:29 арбитражники
14:06 С юмором по жизни!
10:18 Добро пожаловать в цифровой мир...

09.03.2026 09:00	Помогите, пожалуйста...
04.02.2023 09:13	Помогите придумать самый интересный вопрос
07.10.2022 21:25	Помогите придумать название
02.09.2020 17:01	Google Page Speed & Web Vitals - помогите разобраться
18.04.2020 02:47	Помогите вывести PayPal за комиссию