Индексирует мусор
Страницы: 1
Индексирует мусор
Помогите,что не так в robots.txt smile:confused: Индексирует гугл весь хлам.
Можете посмотреть в гугле site:inseklopedia.ru
Кто знает как правильно составить robots.txt? Нашел много статей как правильно составлять robots.txt и везде по разному.А как же правильно?
Подскажите.

Вот мой robots.txt

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: inseklopedia.ru
Изменено: reks - 1 Июля 2011 23:50
Добавить это

Disallow: /*print
Disallow: /engine/
Disallow: /tags/
Disallow: /2010/
Disallow: /2011/

И убрать
Disallow: /engine/go.php
Если есть материалы за 2009 год, то добавить еще строку
Disallow: /2009/
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.
Кто знает,подскажите. smile:(

Цитата
Disallow: /user/
Disallow: /*do=lostpassword
Disallow: /*do=register
Цитата
reks пишет:
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.

Потому что эта строчка <met a name="robots" content="all" /> имеет приоритет. И всё, что Вы задаёте в robots.txt не имеет значения при наличии такой строки.
Изменено: leon_need - 2 Июля 2011 09:35
А где её найти?
И её удалить что ли надо,что то я с этим не сталкивался,не знаю.
Подскажите
Изменено: reks - 2 Июля 2011 09:52
reks,
/engine/engine.php открываете, ищите примерно 720 строку (<met a name="robots" content="all" />) и удаляете ее.
Изменено: igoryanzx1 - 2 Июля 2011 16:29
Спасибо нашел smile:sarc:
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:35 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 
18:12 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
17:38 SEO под нейро 
14:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
11:32 Индексирование страниц в Яндексе 
01:02 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini? 
19:48 где много готовых фавиконок 
16:01 Сайт-портал по зарубежной недвижимости 
14:30 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
12:00 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
08:47 Мониторинг обменников Сrypto-scout.io 
23:58 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
20:43 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:29 Nexulume.com Обменник без AML и KYC 
18:33 Список обновленных тем пуст... 
17:36 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
08:54 Ставки на супер тренды в спорте 
02:01 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
00:15 Точные прогнозы на футбол 
06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux