Подскажите по поводу Robots.txt

Сообщений: 9 Регистрация: Апр 2010

10 Апреля 2010 22:18

В яндексе проиндескирована только первая страница((
может проблема в Robots.txt....??? сайт http://kupi-prodai.net/

User-agent: *
Disallow: /ru.html
Disallow: /en.html
Disallow: /city.html
Disallow: /login.html
Disallow: /register.html
Disallow: /new.html
Disallow: /addnews.html
Disallow: /*search*
Disallow: /goto*
Disallow: /cpanel.html
Disallow: /profile.html
Disallow: /logout.html
Disallow: /print*
Disallow: /vip*
Disallow: /note.html
Disallow: /noteprint.html
Disallow: /contacts.html

MrJohn

Сообщений: 50 Регистрация: Апр 2010

11 Апреля 2010 00:13

конечно в роботс, у вас там все модули закрыты.
Отредактируйте файл роботс так:

User-agent: *
Disallow:
Host: ваш.сайт.ру (без http://www)

Candyman

Сообщений: 391 Регистрация: Май 2010

26 Мая 2011 00:53

Чтобы не дублировать темы, спрошу здесь.
1. Есть два языка: ru / ua
Если в роботе прописать
Disallow: /ru/

Поисковик не будет индексировать эти страницы? потому как сам сайт по умолчанию на русском и, если не закрою, то выйдет дублирование.

2. Есть новости, которые копипастятся со ссылкой на источник

Если в роботе прописать
Disallow: /news/

Поисковика этого хватит?

И еще. Юзаю сейчас joomla 1.6 в свойствах к материалу есть возможность установить noindex noffolow. выбираю, смотрю код страницы, а тегов нет((

Только лучшие сайты

igoryanzx1

Сообщений: 392 Регистрация: Июл 2010

26 Мая 2011 02:13

Цитата
MrJohn пишет: конечно в роботс, у вас там все модули закрыты.

Все там нормально!
mishadon61,
Мое мнение - контент плохой, т.е его практически нет, страницы все подобны.
Ps. У сайта правда такой возраст или у домена?

Candyman Сообщений: 391 Регистрация: Май 2010	#5 26 Мая 2011 15:31 а по моему вопросу есть подсказка?)

Новые темы	Объявления	Свободное общение
11:51 SEO под нейро 11:39 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 11:32 Индексирование страниц в Яндексе 01:57 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 01:02 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini? 00:45 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 19:48 где много готовых фавиконок	12:00 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 08:47 Мониторинг обменников Сrypto-scout.io 23:58 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 20:43 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:29 Nexulume.com Обменник без AML и KYC 18:16 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365 12:28 Mixmasters - Exchange without AML and KYC	08:54 Ставки на супер тренды в спорте 02:01 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 00:53 Список обновленных тем пуст... 00:15 Точные прогнозы на футбол 17:03 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux

Новые темы

Объявления

Свободное общение

11:51 SEO под нейро
11:39 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает
11:32 Индексирование страниц в Яндексе
01:57 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
01:02 [AI] Qwen3-Max Thinking: Алибаба подвинула DeepSeek и Gemini?
00:45 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
19:48 где много готовых фавиконок

12:00 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
08:47 Мониторинг обменников Сrypto-scout.io
23:58 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
20:43 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
18:29 Nexulume.com Обменник без AML и KYC
18:16 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365
12:28 Mixmasters - Exchange without AML and KYC

08:54 Ставки на супер тренды в спорте
02:01 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
00:53 Список обновленных тем пуст...
00:15 Точные прогнозы на футбол
17:03 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
15:18 Win 10: Три месяца без обновлений. Как полёт? // Переезд на Win 11 или Linux

09.05.2025 21:39	Подскажите где продвигать сайт.
01.05.2025 14:28	Подскажите нормальные поисковики на ТОР браузере
25.03.2024 21:58	Подскажите парсер порно тубов
20.09.2022 22:38	Подскажите как заказывать лиды на товарку? У кого-то есть успешный опыт?
02.08.2022 21:08	Подскажите как выгрузить данные нескольких сайтов для SEO?