Помогите с robots.txt
Страницы: 1
[ Закрыто ] Помогите с robots.txt, всё верно?
Не дружим с Яшей...
Этому же сайту на другом движке он давал очень много трафа, по факту, в два раза больше гугля. А тут полтора месяца уже и так и живем... Почти на гугле с мейлом smile:( .

Может, закавыка в robots.txt?

Нужно ещё что-то закрыть? (всё равно страниц в поиске как-то многовато)
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /foto/
Disallow: /forum/
Disallow: /users/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /people/?PAGEN_1=*
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /

Host: site.ru
Цитата
felis_serval пишет:
(всё равно страниц в поиске как-то многовато)


felis_serval Вы ж посмотрите в индекс яши. Всё что считаете лишним - закрывайте.

Цитата
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /


Не пойму, а зачем вы от этой пс сайт закрываете?
Изменено: eklips - 3 Ноября 2011 18:42
Ну роботы у неё активные очень, а траф с неё Вы видели когда-нибудь? Я - никогда ни хоста...
Сунулась посмотреть что там за страниц такая куча у него, я не магу... Он со старого движка ещё урлы держит smile:bad:
во тормознутая система... Когда же он переиндексацию закончит? smile:bomb:
Цитата
felis_serval пишет:
Сунулась посмотреть что там за страниц такая куча у него, я не магу... Он со старого движка ещё урлы держит
во тормознутая система... Когда же он переиндексацию закончит?


Корректируйте роботс и через пару апов должен будет выкинуть их
В смысле? Если говорить о ссылках со старого движка, их пара сотен. Запретить все по отдельности? Сервер отдает 404, гоша выкинул это за 2 дня, оно обязано само выпасть smile:confused:
Да нет же, все ссылки не надо. Надо создать правило для роботса, например, у вас старые ссылки шли через какую-нибудь категорию или может вобще динамическими были? Приведите пример ссылок, чтобы было более понятно.

Если 404 настроена, то конечно выкинуть должен, но это уже вопрос времени.
Изменено: eklips - 3 Ноября 2011 19:17
Ссылки были джумловские, так как это была заглушка, я там почти не трогала стандартный роботс, в итоге 2 варианта (дубль каждой страницы дважды), СЕО-ссылка и стандартная джумловская... smile:o
Категорий было около 20...
Не дружу с сим движком. Однако, смею напомнить, каждый поисковик уважает персональное обращение...
В общем, для сайта роботс прокатил, но сейчас вопрос по форуму, вынесенному на поддомен smile:sarc:
Медленно но верно уходит под АГС. Сайт растет по трафу, с форума вылетают страницы. Чего-то я там про роботс совсем забыла... smile:o
Вот чего наколдовали:
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /foto/
Disallow: /users/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /message/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /people/?PAGEN_1=*

User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /
Host: forum.site.ru


Сама себе создаю проблемы, так жить интереснее smile;)
smile:) как обычно, в ответ тишина... На оф. сайте битрикса тоже. Ладно, будут сюда подглядывать как правильно составлять robots.txt для bitrix...
Посмотрите, правильно ли закрыт поиск на сайте, а то яндекс выдал страницу поиска в результаты своего поиска, меня интересует, надо ли ставить слеш после  search или нет?  До этого поиск не был закрыт в роботс вообще.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search
Вот плод творческих мук и многочасового изучения дублей в выдаче:

User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /forum/user/
Disallow: /forum/users/
Disallow: /blogs/user/
Disallow: /blogs/users/
Disallow: /blog/user/
Disallow: /blog/users/
Disallow: /users/
Disallow: /user/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /?sphrase_id=*
Disallow: /*?
Sitemap: http://домен/sitemap_index.xml
User-agent: YahooBot
User-agent: Yahoo! Slurp
Disallow: /

Host: домен

+ к этому редирект с ссылок без слэша на ссылки с слешем...
Последний ап - дубли стали шустро выпадать.

Но у меня есть подозрение что и это ещё не всё:D
Подскажите правильно ли составлен роботс?

User-Agent: *
Disallow: # empty Disallow instruction SHOULD be there
Sitemap:
Host:
Disallow: /bitrix/
Disallow: /upload/
Disallow: /forum/user/
Disallow: /forum/users/
Disallow: /blogs/user/
Disallow: /blogs/users/
Disallow: /blog/user/
Disallow: /blog/users/
Disallow: /users/
Disallow: /user/
Disallow: /moder/
Disallow: /personal/
Disallow: /search/
Disallow: /login/
Disallow: /auth/
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /?sphrase_id=*
Disallow: */index.php
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
01:11 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
23:28 Помогите с оценкой стоимости сайта 
18:38 Продажа аккаунтов HH.RU 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь