Подскажите по поводу Robots.txt

Сообщений: 9 Регистрация: Апр 2010

10 Апреля 2010 22:18

В яндексе проиндескирована только первая страница((
может проблема в Robots.txt....??? сайт http://kupi-prodai.net/

User-agent: *
Disallow: /ru.html
Disallow: /en.html
Disallow: /city.html
Disallow: /login.html
Disallow: /register.html
Disallow: /new.html
Disallow: /addnews.html
Disallow: /*search*
Disallow: /goto*
Disallow: /cpanel.html
Disallow: /profile.html
Disallow: /logout.html
Disallow: /print*
Disallow: /vip*
Disallow: /note.html
Disallow: /noteprint.html
Disallow: /contacts.html

MrJohn

Сообщений: 50 Регистрация: Апр 2010

11 Апреля 2010 00:13

конечно в роботс, у вас там все модули закрыты.
Отредактируйте файл роботс так:

User-agent: *
Disallow:
Host: ваш.сайт.ру (без http://www)

Candyman

Сообщений: 391 Регистрация: Май 2010

26 Мая 2011 00:53

Чтобы не дублировать темы, спрошу здесь.
1. Есть два языка: ru / ua
Если в роботе прописать
Disallow: /ru/

Поисковик не будет индексировать эти страницы? потому как сам сайт по умолчанию на русском и, если не закрою, то выйдет дублирование.

2. Есть новости, которые копипастятся со ссылкой на источник

Если в роботе прописать
Disallow: /news/

Поисковика этого хватит?

И еще. Юзаю сейчас joomla 1.6 в свойствах к материалу есть возможность установить noindex noffolow. выбираю, смотрю код страницы, а тегов нет((

Только лучшие сайты

igoryanzx1

Сообщений: 392 Регистрация: Июл 2010

26 Мая 2011 02:13

Цитата
MrJohn пишет: конечно в роботс, у вас там все модули закрыты.

Все там нормально!
mishadon61,
Мое мнение - контент плохой, т.е его практически нет, страницы все подобны.
Ps. У сайта правда такой возраст или у домена?

Candyman Сообщений: 391 Регистрация: Май 2010	#5 26 Мая 2011 15:31 а по моему вопросу есть подсказка?)

Новые темы	Объявления	Свободное общение
15:04 Редирект на мобильных. Айболит и сканеры молчат 14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 14:31 Robots txt 12:18 С чего сейчас проще начать? 02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 22:19 Телега на ручнике: РКН включил замедление и логи админок покраснели	20:23 Nexulume.com Обменник без AML и KYC 20:06 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 16:13 EM24.biz - обмен валют 15:22 Авито аккаунты ИП и физик 14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 14:22 Продажа аккаунтов HH.RU 12:29 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков	19:03 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 18:56 Компьютерная мышь 18:54 молодильные яблоки и живая вода 18:50 Панель Кнопки соцсетей 18:41 Оцифровка старых физических фотографий 17:05 Актуально для тех кто хочет заработать в интернете 13:31 Ставки на супер тренды в спорте

Новые темы

Объявления

Свободное общение

15:04 Редирект на мобильных. Айболит и сканеры молчат
14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня
14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный
14:31 Robots txt
12:18 С чего сейчас проще начать?
02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
22:19 Телега на ручнике: РКН включил замедление и логи админок покраснели

20:23 Nexulume.com Обменник без AML и KYC
20:06 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
16:13 EM24.biz - обмен валют
15:22 Авито аккаунты ИП и физик
14:45 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
14:22 Продажа аккаунтов HH.RU
12:29 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков

19:03 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
18:56 Компьютерная мышь
18:54 молодильные яблоки и живая вода
18:50 Панель Кнопки соцсетей
18:41 Оцифровка старых физических фотографий
17:05 Актуально для тех кто хочет заработать в интернете
13:31 Ставки на супер тренды в спорте

09.05.2025 21:39	Подскажите где продвигать сайт.
01.05.2025 14:28	Подскажите нормальные поисковики на ТОР браузере
25.03.2024 21:58	Подскажите парсер порно тубов
20.09.2022 22:38	Подскажите как заказывать лиды на товарку? У кого-то есть успешный опыт?
02.08.2022 21:08	Подскажите как выгрузить данные нескольких сайтов для SEO?