Помогите настроить правильно robots txt
Страницы: 1
Помогите настроить правильно robots txt
Кто сможет помочь мне настроить правильно robots txt, у меня в поиске более 25000 страниц из них индексируются около 3000 страниц. Все остальное хлам который нужно убирать от поисковиков запретом.
И кто может подсказать чем отличаются  robots txt для движка IPB и IPS?
Вот мой robots txt:
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras§ion=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*%2525
Disallow: /*?s=
Disallow: /*&s=
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras§ion=rating
Disallow: /index.php?app=forums&module=forums§ion=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: [URL]https://investmani.ru/sitemap.xml[/URL]
User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras§ion=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras§ion=rating
Disallow: /index.php?app=forums&module=forums§ion=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Host: [URL]https://investmani.ru[/URL]
Sitemap: [URL]https://investmani.ru/sitemap.xml[/URL]
User-agent: Google
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras§ion=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=core&module=search&do=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*app=forums&module=extras§ion=stats&do=who
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*%2525
Disallow: /user/
Disallow: /members/
Disallow: /index.php?app=members
Disallow: /index.php?app=core&module=global§ion=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras§ion=rating
Disallow: /index.php?app=forums&module=forums§ion=markasread
Disallow: /index.php?app=core&module=search&do=search&search_tags=
Sitemap: [URL]https://investmani.ru/sitemap.xml[/URL]

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Ничего себе у вас робот тхт его в пять раз меньше надо делатьsmile:)
Можно объединить некоторые правила, например:
Disallow: /*view__getnewpost$ 
Disallow: /*view__getlastpost$ 
Disallow: /*view__old$ 
Disallow: /*view__new$ 
Disallow: /*view__getfirst$ 
Disallow: /*view__getprevious$ 
Disallow: /*view__getnext$ 
Disallow: /*view__getlast$ 


сократить до:

Disallow: /*view__

если конечно это не затронет нужных страниц.



А по делу, нужно разбираться что хлам, а что не хлам и закрывать все не нужное в роботсе.
Пользуйтесь по возможности мегатегами.Главное отличие:
Роботс- рекомендуемое к выполнению указание
Мета  -  выполняемое
Изменено: Дормедонт Пирюсик - 28 Июня 2017 22:50
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:49 Рейтинг dle не работает 
22:16 Перевод сайта на англ.язык 
21:59 Вы круглый год одинаково в сети работаете? | Апдейт Яндекс выдача 21 февраля 2020 
20:41 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
20:23 Смена региона Гугла 
20:12 Усиление ссылок реальными переходами 
19:52 Быстрое продвижение сайта в ТОП Яндекса. Рост трафика и позиций. 
22:59 Аккаунты ЭПС | Yandex, Neteller, Skrill, Qiwi, PayPal, N26, Perfect 
20:02 Dark Sender - новая программа для рассылки в Вконтакте 
18:27 Где купить отзывы на отзовиках? 
16:59 Создаю видео для Доров на Ютуб 
16:55 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
16:19 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 
15:11 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust 
22:34 Можно ли купить акции компаний РФ гражданину Украины? 
22:13 Подскажите партнерки для соц. сетей 
21:15 Помогите узнать частотность запросов в ГУГЛ 
19:21 Кто работал с данной биржей proflinks? 
17:18 Клещи 
17:14 Актуальные клиентские базы на любую тематику!!! 
16:44 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу.