Роботс (выпали страницы)

Сообщений: 646 Регистрация: Дек 2010

1 Декабря 2013 20:01

Здравствуйте! Скажите, можно ли так делать:

User-agent: *
Disallow: www.site.net
Allow: site.net

Host: site.net
Sitemap: http://site.net/sitemap.xml

Сайт на HTML
Когда сделал такой роботс в индексе остались рубрики и 1 страница с материалом + главная страница.

До этого роботса не былоо вообще. И сайт индексировался как с www так и без www
Сейчас поставил в Htaccesse переадресацию с www на без www

В чем ошибка?

900 руб/сут на блоге с ТИЦ80 и 4000стр

6400руб/мес(7150стр, тиц30,пр2)

Продвинул ВЧ запрос в ТОП10 за 3 меc

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:21

У вас два взаимоисключающих правила прописано. Праметры сайта с www или без такового задаются через .htacces

Роботс предназначен для закрытия или открытия директорий и страниц сайта

Вот пример моего одностраничка на HTML
User-agent: *
Disallow: /css/
Disallow: /images/
Host: site.ru

Доступ разрешен всем
установлен запрет на директории css и images
указан главный хост (сайт без www)

Ольга

Сообщений: 193 Регистрация: Фев 2013

1 Декабря 2013 20:23

А смысл в этих строчках:Disallow: www.site.net
Allow: site.net ?
Гораздо проще в вебмастере настроить адрес главного зеркала, и его же прописать в DNS как основной домен.

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:26

Еще проще прописать правила в .htaccess для www или без него. Проще не бывает.

Александр Сообщений: 646 Регистрация: Дек 2010	#5 2 Декабря 2013 17:11 Исправил, посмотрим что теперь будет. спасибо!

Новые темы	Объявления	Свободное общение
12:54 Ютуб - все: РКН вырубил свет через DNS и НСДИ 12:47 Телега на ручнике: РКН включил замедление и логи админок покраснели 09:34 SEO под нейро 16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ	10:21 AllCharge.online. Современный, быстрый и надёжный обменник 09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 09:01 Мониторинг обменников Сrypto-scout.io 20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	12:30 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 09:02 Ставки на супер тренды в спорте 01:00 Точные прогнозы на футбол 21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

Новые темы

Объявления

Свободное общение

12:54 Ютуб - все: РКН вырубил свет через DNS и НСДИ
12:47 Телега на ручнике: РКН включил замедление и логи админок покраснели
09:34 SEO под нейро
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ

10:21 AllCharge.online. Современный, быстрый и надёжный обменник
09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
09:01 Мониторинг обменников Сrypto-scout.io
20:15 Nexulume.com Обменник без AML и KYC
17:47 Продажа аккаунтов HH.RU
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно

12:30 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе
09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
09:02 Ставки на супер тренды в спорте
01:00 Точные прогнозы на футбол
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
20:54 Туалетные секреты: Замурчательная тема
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс