Приветствую... действительно wp часто приносит неудобства в базовой оптимизации скорости. Но конкретно в Вашем случае, распишу что можно применить:
1) Удалите все непонятные плагины кеширования и минифицирования - в большинстве своем они только сильно нагружают движок. Для их нормального применения нужны более глубокие настройки. И преимущества "красивого" исходного кода отображения, так же никто не отменял.
2) Настройте нормальное кеширование и сжатие на стороне движка: прочитайте о файле htaccess и mime type касаемо вордпресса.
3) Ознакомьтесь о с понятиями async и defer - в случае wp, из своего опыта для jquery и внешних скриптов используйте defer. В случае других скриптов  async.
4) Касаемо css - используйте вариант внедрения через link rel="preload".
5) Не забудьте про ответ сервера: вариант с Redis достаточно серьезно может помочь, из опыта ускоряет ответ сервера почти в 2 раза.
6) Понятно что изображения каждый раз сложно изменять, но указанный ранее плагины wp, неплохо с этим справляются.

Если что не понятно, пишите в личные сообщения.