Роботс (выпали страницы)

Сообщений: 646 Регистрация: Дек 2010

1 Декабря 2013 20:01

Здравствуйте! Скажите, можно ли так делать:

User-agent: *
Disallow: www.site.net
Allow: site.net

Host: site.net
Sitemap: http://site.net/sitemap.xml

Сайт на HTML
Когда сделал такой роботс в индексе остались рубрики и 1 страница с материалом + главная страница.

До этого роботса не былоо вообще. И сайт индексировался как с www так и без www
Сейчас поставил в Htaccesse переадресацию с www на без www

В чем ошибка?

900 руб/сут на блоге с ТИЦ80 и 4000стр

6400руб/мес(7150стр, тиц30,пр2)

Продвинул ВЧ запрос в ТОП10 за 3 меc

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:21

У вас два взаимоисключающих правила прописано. Праметры сайта с www или без такового задаются через .htacces

Роботс предназначен для закрытия или открытия директорий и страниц сайта

Вот пример моего одностраничка на HTML
User-agent: *
Disallow: /css/
Disallow: /images/
Host: site.ru

Доступ разрешен всем
установлен запрет на директории css и images
указан главный хост (сайт без www)

Ольга

Сообщений: 193 Регистрация: Фев 2013

1 Декабря 2013 20:23

А смысл в этих строчках:Disallow: www.site.net
Allow: site.net ?
Гораздо проще в вебмастере настроить адрес главного зеркала, и его же прописать в DNS как основной домен.

Константин

Сообщений: 32 Регистрация: Мар 2013

1 Декабря 2013 20:26

Еще проще прописать правила в .htaccess для www или без него. Проще не бывает.

Александр Сообщений: 646 Регистрация: Дек 2010	#5 2 Декабря 2013 17:11 Исправил, посмотрим что теперь будет. спасибо!

Новые темы	Объявления	Свободное общение
16:45 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 10:59 С чего сейчас проще начать? 08:21 Продвижение-2022: Гугл все? Нет – Гугл не все! 08:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 18:49 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 13:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 12:47 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика	16:47 Продам домен translated.ru 16:11 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 14:43 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 14:24 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 12:54 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 11:13 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 09:40 Swapwatch.org — Мониторинг криптовалютных обменников	14:56 молодильные яблоки и живая вода 14:54 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 14:41 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 06:50 Ставки на супер тренды в спорте 13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники

Новые темы

Объявления

Свободное общение

16:45 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?
10:59 С чего сейчас проще начать?
08:21 Продвижение-2022: Гугл все? Нет – Гугл не все!
08:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update
18:49 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?
13:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода?
12:47 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика

16:47 Продам домен translated.ru
16:11 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси!
14:43 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
14:24 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика
12:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
11:13 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности
09:40 Swapwatch.org — Мониторинг криптовалютных обменников

14:56 молодильные яблоки и живая вода
14:54 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
14:41 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
06:50 Ставки на супер тренды в спорте
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
17:05 Огородники

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс