Значит сайт не удобен и пользователь быстро кликает на закрытие сайта.

Больше не могу сказать, так как сайта не видел, но каждому свое и это факт. Невозможно угодить всем.
А еще возможно что это боты или те кто попал на сайт случайно, например искавшие совсем другое.

У меня каждый день порядка 8-12% отказов и практически все с Гугл картинок (из-за их интерфейса), ведь когда закрываешь картинку, попадаешь на сайт, а так как это не то что человек хотел, он сразу же уходит. Конечно это достаточно ухудшает ПФ, но половина пользователей с картинок задерживаются на сайте на 5 и более минут, поэтому пока воздерживаюсь от запрета индексации картинок в роботс, хотя ужу близок к этому.