Индексация сайта с запретом Deny from

Сообщений: 24 Регистрация: Май 2019

19 Ноября 2019 12:52

Добрый день. Подскажите пожалуйста. почему при такой конструкции в .htaccess :
Order allow,deny
Allow from all
Deny from 37.113.15.58

Сделано было так чтоб разработчик мог работать над сайтом а остальные люди в интернете его не видели.

А так же robots.txt

User-Agent: *
Disallow: /

Сайт все равно проиндексировал все страницы?

Александр

Сообщений: 230 Регистрация: Авг 2012

19 Ноября 2019 13:37

Ничего не понял....
У вас сайт открыт для всех, но запрещен для одного IP.
Нужно было так:
Deny from all
Allow from 37.113.15.58

Охотникам пригодится

Александр

Сообщений: 24 Регистрация: Май 2019

19 Ноября 2019 14:05

Цитата
Александр пишет: Ничего не понял.... У вас сайт открыт для всех, но запрещен для одного IP. Нужно было так: Deny from all Allow from 37.113.15.58

Ошибся. Не с того сайа скопировал.

Вот так у меня написано на сайте который проиндексировался:
Order Deny,Allow
Deny from all
Allow from 195.98.73.105

Александр

Сообщений: 230 Регистрация: Авг 2012

19 Ноября 2019 15:32

Пробовали с другого IP заходить? Такая конструкция должна сработать. Во всяком случае у меня работает, когда я сайт закрываю и оставляю для одного IP. Сайт просто никак не может проиндексировать, если при посещении роботу Пса отдается 403 Forbidden.

Александр Сообщений: 24 Регистрация: Май 2019	#5 19 Ноября 2019 15:43 Александр, да. Все верно у меня на других пк не работает сайт. Выдает ошибку 403 Forbidden.

Новые темы	Объявления	Свободное общение
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 13:26 Как безопасно купить Гугл почту? 10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу	00:01 E-currency.exchange — ваш помощник в мире обменов 23:40 Monitex: Мониторинг с кэшбэком 80% в USDT 22:35 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:41 Веривикация Авито 17:37 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику 15:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика	23:34 Точные прогнозы на футбол 21:04 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 19:29 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 19:24 Туалетные секреты: Замурчательная тема 19:15 Сайты Рунета 15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw 08:50 Гильотина для классиков: Клод доедает физические книги

Новые темы

Объявления

Свободное общение

20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса
15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров
13:26 Как безопасно купить Гугл почту?
10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу

00:01 E-currency.exchange — ваш помощник в мире обменов
23:40 Monitex: Мониторинг с кэшбэком 80% в USDT
22:35 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
18:41 Веривикация Авито
17:37 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику
15:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика

23:34 Точные прогнозы на футбол
21:04 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
19:29 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи
19:24 Туалетные секреты: Замурчательная тема
19:15 Сайты Рунета
15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw
08:50 Гильотина для классиков: Клод доедает физические книги

21.11.2023 23:40	переезд сайта на новый домен
01.08.2023 16:00	Яндекс добавил страницы сайта а потом их удалил за один день из поисковой выдачи
17.04.2023 09:38	Сколько времени занимает индексация картинок на Яндексе
06.12.2022 06:57	Какие параметры сайта требуются для роста ИКС?
16.09.2022 16:32	Новинка "Ниша сайта" в Яндекс.Вебмастере