помогите с роботс-ом

Сообщений: 298 Регистрация: Июн 2011

9 Августа 2012 12:08

Немогу понять что и как прописывать в роботсе, хочу закрыть все лишнее а его очень много, дубли страниц и.т.д.
Вот например было так на прошлом сайте, У гугла проиндексированно 1000 страниц под фильтрами а на самом деле их примерно 50 (статей) роботс был стандартный CMS Dle.

Помогите как и что нужно закрывать и прописывать?

Спасибо заранее.

ZerocooL

Сообщений: 6308 Регистрация: Мар 2011

9 Августа 2012 12:09

Cvetnik,

для какой CMS ?

для DLE я использую такой

Код

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /2012/
Disallow: /2011/
Disallow: /2010/
Disallow: /page/
Disallow: /index.php
Disallow: /index.php?action=mobiledisable
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /?do=register
Disallow: /index.php?do=feedback
Disallow: /?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

как итог 100% страниц не под фильтром

ICQ: 647366012 Skype: ftpzerocool</b>

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

9 Августа 2012 12:09

Cvetnik, могу помочь, пиши в ЛС или асю

Кино здесь или здесь | СЯ без мусора | 2,5 руб за безанкор | Ищу подработку

Cvetnik

Сообщений: 298 Регистрация: Июн 2011

9 Августа 2012 12:12

ZerocooL, Спасибо

Алексей SP, Вы знаете лучше?

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

9 Августа 2012 12:18

Цитата
Cvetnik пишет: Вы знаете лучше?

Мы написали вместе с Зеро, я не видел его поста.
А так нужно каждый сайт индивидуально настраивать, некоторые моменты не закрыть стандартным, ну это мелочи.

Новые темы	Объявления	Свободное общение
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 08:23 Rotapost прикрыли! Чем пользоваться? 17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).	22:41 SOCKS5 приватные прокси на 30 дней для PayPal 22:41 Google Voice аккаунты для бесплатных SMS и звонков 22:40 PayPal аккаунты для любых целей 18:24 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 16:59 Сайты с зарубежным трафиком КУПЛЮ 16:50 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 16:50 Trustpilot Reviews \| Подниму рейтинг вашей компании	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense?
08:23 Rotapost прикрыли! Чем пользоваться?
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).

22:41 SOCKS5 приватные прокси на 30 дней для PayPal
22:41 Google Voice аккаунты для бесплатных SMS и звонков
22:40 PayPal аккаунты для любых целей
18:24 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin
16:59 Сайты с зарубежным трафиком КУПЛЮ
16:50 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
16:50 Trustpilot Reviews | Подниму рейтинг вашей компании

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

04.02.2023 09:13	Помогите придумать самый интересный вопрос
07.10.2022 21:25	Помогите придумать название
02.09.2020 17:01	Google Page Speed & Web Vitals - помогите разобраться
18.04.2020 02:47	Помогите вывести PayPal за комиссию
22.02.2020 11:36	Помогите узнать частотность запросов в ГУГЛ