Нужны ли в индексе теги?
Страницы: 1
Нужны ли в индексе теги?
Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?
Цитата
pfas пишет:
Здравствуйте, нуждаюсь в Вашем совете.Дней 20 назад создал сайт. Забыл в robots.txt написать Disallow: /tags/ и теперь в сети теги попали в индекс и на них идут переходы. Что посоветуете делать? Написать в robots.txt Disallow: /tags/ или оставить всё как есть?
Да, после проверки роботом, они исключаться из поиска
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: *****.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: *****.ru
Sitemap: *****.ru/sitemap.xml
User-agent: MediaPartners-Google
Allow: /
User-agent: YandexDirect
Allow: /

Вот так выглядит сейчас мой robots.txt. p.s. сайт на dle
Правильно ли он настроен?
А почему вы задаёте Яндексу отдельные данные? Можно всем роботам дать один и тот же параметр
Пишу статьи почти для всех тематик. Также имеются скидки. Тема для принятия заказов: здесь
апну)нужны ответы.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:56 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
22:47 Ссылки с сайтов РБ 
22:44 25.12.25 Апдейт Яндекс выдача 
22:35 Продвижение-2022: Гугл все? Нет – Гугл не все! 
22:33 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
20:16 Волна банов за ПФ под Новый год? Кого еще зацепило? 
19:42 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 
08:51 Размещение статей, ссылок и постовых на качественных ресурсах 
08:49 Продвижение на Авито 
08:48 xpoint.pro - быстрый и надежный криптообменный сервис Xpoint 
18:09 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:59 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
10:06 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
08:22 Мониторинг обменников Сrypto-scout.io 
08:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
08:58 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут? 
08:52 Стряхнуть обыденность - об Агасфере 
23:08 Физические сим-карты 
22:52 37 противникам прививок от COVID грозят уголовные дела 
21:44 С юмором по жизни! 
13:34 Компьютерная мышь