Помогите с robots.txt
Страницы: 1
[ Закрыто ] Помогите с robots.txt, всё верно?
Не дружим с Яшей...
Этому же сайту на другом движке он давал очень много трафа, по факту, в два раза больше гугля. А тут полтора месяца уже и так и живем... Почти на гугле с мейлом smile:( .

Может, закавыка в robots.txt?

Нужно ещё что-то закрыть? (всё равно страниц в поиске как-то многовато)
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /foto/
Disallow: /forum/
Disallow: /users/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /people/?PAGEN_1=*
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /

Host: site.ru
Цитата
felis_serval пишет:
(всё равно страниц в поиске как-то многовато)


felis_serval Вы ж посмотрите в индекс яши. Всё что считаете лишним - закрывайте.

Цитата
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /


Не пойму, а зачем вы от этой пс сайт закрываете?
Изменено: eklips - 3 Ноября 2011 18:42
Ну роботы у неё активные очень, а траф с неё Вы видели когда-нибудь? Я - никогда ни хоста...
Сунулась посмотреть что там за страниц такая куча у него, я не магу... Он со старого движка ещё урлы держит smile:bad:
во тормознутая система... Когда же он переиндексацию закончит? smile:bomb:
Цитата
felis_serval пишет:
Сунулась посмотреть что там за страниц такая куча у него, я не магу... Он со старого движка ещё урлы держит
во тормознутая система... Когда же он переиндексацию закончит?


Корректируйте роботс и через пару апов должен будет выкинуть их
В смысле? Если говорить о ссылках со старого движка, их пара сотен. Запретить все по отдельности? Сервер отдает 404, гоша выкинул это за 2 дня, оно обязано само выпасть smile:confused:
Да нет же, все ссылки не надо. Надо создать правило для роботса, например, у вас старые ссылки шли через какую-нибудь категорию или может вобще динамическими были? Приведите пример ссылок, чтобы было более понятно.

Если 404 настроена, то конечно выкинуть должен, но это уже вопрос времени.
Изменено: eklips - 3 Ноября 2011 19:17
Ссылки были джумловские, так как это была заглушка, я там почти не трогала стандартный роботс, в итоге 2 варианта (дубль каждой страницы дважды), СЕО-ссылка и стандартная джумловская... smile:o
Категорий было около 20...
Не дружу с сим движком. Однако, смею напомнить, каждый поисковик уважает персональное обращение...
В общем, для сайта роботс прокатил, но сейчас вопрос по форуму, вынесенному на поддомен smile:sarc:
Медленно но верно уходит под АГС. Сайт растет по трафу, с форума вылетают страницы. Чего-то я там про роботс совсем забыла... smile:o
Вот чего наколдовали:
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /foto/
Disallow: /users/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /message/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /people/?PAGEN_1=*

User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /
Host: forum.site.ru


Сама себе создаю проблемы, так жить интереснее smile;)
smile:) как обычно, в ответ тишина... На оф. сайте битрикса тоже. Ладно, будут сюда подглядывать как правильно составлять robots.txt для bitrix...
Посмотрите, правильно ли закрыт поиск на сайте, а то яндекс выдал страницу поиска в результаты своего поиска, меня интересует, надо ли ставить слеш после  search или нет?  До этого поиск не был закрыт в роботс вообще.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search
Вот плод творческих мук и многочасового изучения дублей в выдаче:

User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /forum/user/
Disallow: /forum/users/
Disallow: /blogs/user/
Disallow: /blogs/users/
Disallow: /blog/user/
Disallow: /blog/users/
Disallow: /users/
Disallow: /user/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /?sphrase_id=*
Disallow: /*?
Sitemap: http://домен/sitemap_index.xml
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /

Host: домен

+ к этому редирект с ссылок без слэша на ссылки с слешем...
Последний ап - дубли стали шустро выпадать.

Но у меня есть подозрение что и это ещё не всё:D
Подскажите правильно ли составлен роботс?

User-Agent: *
Disallow: # empty Disallow instruction SHOULD be there
Sitemap:
Host:
Disallow: /bitrix/
Disallow: /upload/
Disallow: /forum/user/
Disallow: /forum/users/
Disallow: /blogs/user/
Disallow: /blogs/users/
Disallow: /blog/user/
Disallow: /blog/users/
Disallow: /users/
Disallow: /user/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /?sphrase_id=*
Disallow: */index.php
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:35 Телега на ручнике: РКН включил замедление и логи админок покраснели 
11:48 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
13:45 SEO под нейро 
13:07 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
21:45 Раскрутка форума 
18:07 Гугл уходит из России: почему интернет тормозит и что делать 
15:17 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:22 Nexulume.com Обменник без AML и KYC 
10:11 Swapwatch.org — Мониторинг криптовалютных обменников 
09:07 Все услуги в Телеграм 
22:01 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
16:40 Monitex: Мониторинг с кэшбэком 80% в USDT 
16:36 Мониторинг обменников Сrypto-scout.io 
15:53 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:54 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
03:02 Точные прогнозы на футбол 
22:26 Добро пожаловать в цифровой мир... 
18:38 Оцифровка старых физических фотографий 
13:55 Туалетные секреты: Замурчательная тема 
23:03 Ставки на супер тренды в спорте 
18:43 Индия влепила Intel 3 ляма баксов за дискриминацию по гарантии