Нужны ли в индексе теги?

Сообщений: 11 Регистрация: Авг 2012

9 Сентября 2012 09:40

Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?

Silver Neo

Сообщений: 576 Регистрация: Июн 2012

9 Сентября 2012 09:46

Цитата

pfas пишет:
Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?

Да, после проверки роботом, они исключаться из поиска

Лучшая Партнерка под Ютуб (Помощь рефералам)

Лучший конверт любого моб. трафика

Копирайт и рерайт по выгодной цене

pfas

Сообщений: 11 Регистрация: Авг 2012

9 Сентября 2012 09:52

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: *****.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: *****.ru
Sitemap: *****.ru/sitemap.xml
User-agent: MediaPartners-Google
Allow: /
User-agent: YandexDirect
Allow: /

Вот так выглядит сейчас мой robots.txt. p.s. сайт на dle
Правильно ли он настроен?

BSDA BSDA

Сообщений: 600 Регистрация: Июн 2012

9 Сентября 2012 10:15

А почему вы задаёте Яндексу отдельные данные? Можно всем роботам дать один и тот же параметр

Пишу статьи почти для всех тематик. Также имеются скидки. Тема для принятия заказов: здесь

pfas Сообщений: 11 Регистрация: Авг 2012	#5 9 Сентября 2012 12:30 апну)нужны ответы.

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 05:30 CoinCapital 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:53 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 19:52 Trustpilot Reviews \| Подниму рейтинг вашей компании	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

14:31 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
22:23 Подскажите нормальный сервис накрутки ПФ

16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
05:30 CoinCapital
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

06.04.2022 13:40	Левые ссылки в индексе
05.11.2018 09:04	Сделал для людей Одностраничник а он что-то на индексе
17.10.2017 19:44	Сниппеты в индексе с кодом
28.03.2017 12:53	Нужны ли картинки для ТОПа
18.12.2015 16:00	Мало страниц в индексе