Роботс (выпали страницы)

Сообщений: 646 Регистрация: Дек 2010

1 Декабря 2013 20:01

Здравствуйте! Скажите, можно ли так делать:

User-agent: *
Disallow: www.site.net
Allow: site.net

Host: site.net
Sitemap: http://site.net/sitemap.xml

Сайт на HTML
Когда сделал такой роботс в индексе остались рубрики и 1 страница с материалом + главная страница.

До этого роботса не былоо вообще. И сайт индексировался как с www так и без www
Сейчас поставил в Htaccesse переадресацию с www на без www

В чем ошибка?

900 руб/сут на блоге с ТИЦ80 и 4000стр

6400руб/мес(7150стр, тиц30,пр2)

Продвинул ВЧ запрос в ТОП10 за 3 меc

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:21

У вас два взаимоисключающих правила прописано. Праметры сайта с www или без такового задаются через .htacces

Роботс предназначен для закрытия или открытия директорий и страниц сайта

Вот пример моего одностраничка на HTML
User-agent: *
Disallow: /css/
Disallow: /images/
Host: site.ru

Доступ разрешен всем
установлен запрет на директории css и images
указан главный хост (сайт без www)

Ольга

Сообщений: 193 Регистрация: Фев 2013

1 Декабря 2013 20:23

А смысл в этих строчках:Disallow: www.site.net
Allow: site.net ?
Гораздо проще в вебмастере настроить адрес главного зеркала, и его же прописать в DNS как основной домен.

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:26

Еще проще прописать правила в .htaccess для www или без него. Проще не бывает.

Александр Сообщений: 646 Регистрация: Дек 2010	#5 2 Декабря 2013 17:11 Исправил, посмотрим что теперь будет. спасибо!

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 13:51 Скрипт обменника валют 07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?

Новые темы

Объявления

Свободное общение

22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума

16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
13:51 Скрипт обменника валют
07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend
04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC)
13:16 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей

10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс