Как такое возможно

Евгений, тут классическая ловушка, в которую попадают 90% новичков. Скорее всего, вы видите в robots.txt строчку Disallow и думаете, что сайт закрыт.

На самом деле механика такая:
* Закрытая дверь. Когда вебмастер пишет Disallow в роботсе, он запрещает боту заходить на страницу и скачивать контент.
* Слепота робота. Раз бот не может зайти внутрь, он не видит мета-тег <noindex> (который как раз и отвечает за запрет индексации).
* Внешние ссылки. Яндекс видит, что на этот "закрытый" URL ссылаются другие сайты с анкорами "фото голых девушек". Он думает: "Я не знаю, что внутри (меня не пустили), но все говорят, что там оно. Поставлю в топ".

В адалте это частая схема: контент закрывают от парсеров, а позиции держат за счет ссылочного веса и ПФ (кликов). Если хотите реально убрать сайт из поиска - его надо наоборот открыть в роботсе и дать боту прочитать тег noindex. Парадокс, но так это работает.

Новые темы	Объявления	Свободное общение
22:25 16.01.2026. Пятничный откат, глюки с регионами и "Нейро" в товарке 22:22 Апдейт 20.01: Позиции вернули? // Рынок рекламы падает 22:11 Адсенс "лежал" 13-15 января. У кого сегодня доход вернулся в норму? 18:05 Статистика по "альтернативе": Есть ли смысл сейчас добавлять сайт в Rambler/Mail? 16:05 Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент 23:02 Монетизация пошла: OpenAI начинает крутить баннеры и ссылки в диалогах 10:25 че по ПФ щас реально работает?? (кроме старья)	15:25 BestChange – обменивать электронную валюту можно быстро и выгодно 14:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 08:55 Мониторинг обменников Сrypto-scout.io 04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:56 Portfel.cc - современный помощник в Ваших финансовых операциях. 19:23 GoodsMoney.io 19:09 Volna.money	20:14 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 20:51 Кодерам приготовиться? DeepSeek анонсировал "монстра кодинга" на следующий месяц 12:40 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 20:57 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 15:17 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн 18:50 Добро пожаловать в цифровой мир... 22:14 Какой фильм вы любите посмотреть перед сном?

Новые темы

Объявления

Свободное общение

22:25 16.01.2026. Пятничный откат, глюки с регионами и "Нейро" в товарке
22:22 Апдейт 20.01: Позиции вернули? // Рынок рекламы падает
22:11 Адсенс "лежал" 13-15 января. У кого сегодня доход вернулся в норму?
18:05 Статистика по "альтернативе": Есть ли смысл сейчас добавлять сайт в Rambler/Mail?
16:05 Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент
23:02 Монетизация пошла: OpenAI начинает крутить баннеры и ссылки в диалогах
10:25 че по ПФ щас реально работает?? (кроме старья)

15:25 BestChange – обменивать электронную валюту можно быстро и выгодно
14:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
08:55 Мониторинг обменников Сrypto-scout.io
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:56 Portfel.cc - современный помощник в Ваших финансовых операциях.
19:23 GoodsMoney.io
19:09 Volna.money

20:14 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
20:51 Кодерам приготовиться? DeepSeek анонсировал "монстра кодинга" на следующий месяц
12:40 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
20:57 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
15:17 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн
18:50 Добро пожаловать в цифровой мир...
22:14 Какой фильм вы любите посмотреть перед сном?

24.12.2025 09:23	Что такое Яндекс Икс / Как накрутить Яндекс ИКС
27.06.2023 19:21	Новая возможность: нейросеть Яндекса YandexGPT научилась кратко пересказывать текст
12.05.2021 17:16	Что такое ссылки из профиля Яндекс-вебмастер?
04.12.2020 15:55	Яндекс.Дзен наделил блогеров возможностью ограничивать комментирование
23.09.2020 17:04	Какой у вас ИКС и какое возможное количество переобхода страниц в Яндекс.Вебмастере?

Prapovednik Модератор Сообщений: 65233 Регистрация: Мар 2010	#4 21 Января 2026 22:34 Евгений, тут классическая ловушка, в которую попадают 90% новичков. Скорее всего, вы видите в robots.txt строчку Disallow и думаете, что сайт закрыт. На самом деле механика такая: * Закрытая дверь. Когда вебмастер пишет Disallow в роботсе, он запрещает боту заходить на страницу и скачивать контент. * Слепота робота. Раз бот не может зайти внутрь, он не видит мета-тег <noindex> (который как раз и отвечает за запрет индексации). * Внешние ссылки. Яндекс видит, что на этот "закрытый" URL ссылаются другие сайты с анкорами "фото голых девушек". Он думает: "Я не знаю, что внутри (меня не пустили), но все говорят, что там оно. Поставлю в топ". В адалте это частая схема: контент закрывают от парсеров, а позиции держат за счет ссылочного веса и ПФ (кликов). Если хотите реально убрать сайт из поиска - его надо наоборот открыть в роботсе и дать боту прочитать тег noindex. Парадокс, но так это работает. Продвигай сайты ЛЮБОЙ тематики! Вечные ссылки и статьи. * Тренды SEO 2026: Как продвигать сайт и сделать его магнитом для посетителей (и поисковиков в придачу)