Как такое возможно
Страницы: 1
Как такое возможно
почему то  не получилось вставить картинки на форум, ну вопрос не в этом 

 https://radika1.link/2026/01/18/SNIMOK-EKRANA-2026-01-18-14133045ac5de1921caf8d.jpg

https://s1.radikal.cloud/2026/01/18/SNIMOK-EKRANA-2026-01-18-Ndc44e74826d9ed5b.jpg

на этих фото сайт,   закрытой индексацией  в гугл и яндекс,  а по запросу фото голых девушек, он первый в яндексе, это как возможно ? smile:confused: и таких сайтов не мало
Изменено: Евгений Евгений - 18 Января 2026 12:20
Индексация закрыта как?
В кеше осталось
Евгений, тут классическая ловушка, в которую попадают 90% новичков. Скорее всего, вы видите в robots.txt строчку Disallow и думаете, что сайт закрыт.

На самом деле механика такая:
* Закрытая дверь. Когда вебмастер пишет Disallow в роботсе, он запрещает боту заходить на страницу и скачивать контент.
* Слепота робота. Раз бот не может зайти внутрь, он не видит мета-тег <noindex> (который как раз и отвечает за запрет индексации).
* Внешние ссылки. Яндекс видит, что на этот "закрытый" URL ссылаются другие сайты с анкорами "фото голых девушек". Он думает: "Я не знаю, что внутри (меня не пустили), но все говорят, что там оно. Поставлю в топ".

В адалте это частая схема: контент закрывают от парсеров, а позиции держат за счет ссылочного веса и ПФ (кликов). Если хотите реально убрать сайт из поиска - его надо наоборот открыть в роботсе и дать боту прочитать тег noindex. Парадокс, но так это работает.
Ясно,  спасибо  за ответ smile:)
классика. robots.txt — это не инструмент удаления из индекса, это просто просьба "не сканируй". пока у тебя там стоит disallow, бот физически не может зайти на страницу и прочитать мета-тег noindex. зато он видит внешние ссылки на этот урл и добавляет его в базу по анкорам. хочешь реально выпилить из выдачи:
1. удали правило в robots.txt (разреши доступ).
2. настрой отдачу заголовка x-robots-tag: noindex через конфиг nginx или apache. тогда бот зайдет, чекнет хедер и дропнет страницу при следующем переобходе. а сейчас ты просто дверь запер, но табличку с адресом оставил.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:29 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
10:56 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
10:31 Без просмотра рекламы к контенту не пустят? AdSense вводит Offerwall для всех 
10:30 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
10:12 Почему даже при маленьком трафике сервер умирает? Разбираем реальные причины 
10:11 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
09:55 Приговор для Телеграм. ФАС ставит крест на рекламе 
10:20 Swapwatch.org — Мониторинг криптовалютных обменников 
10:11 BestChange – обменивать электронную валюту можно быстро и выгодно 
09:51 Комплексное SEO продвижение сайтов от частного СЕО специалиста. Раскрутка сайта в Яндекс и Google. 
09:11 Продам сайт - продукты питания 
09:11 Прошу оценить сайт 
18:46 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
10:23 37 противникам прививок от COVID грозят уголовные дела 
10:09 Осторожно! Криптовалюта 
10:01 Какой фильм посмотреть сегодня вечером? 
09:48 Точные прогнозы на футбол 
00:15 Ставки на супер тренды в спорте 
23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 
21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно?