Компонент комментариев тяжелая штуковина. Хотя у меня на одном сайте он стоит и нормально. Тут дело в общей оптимизации сайта. Поэкспериментируйте с плагинами оптимизации, если вручную этого сделать не получается.
Впрочем обо всем этом стоит задумываться, когда нагрузки действительно станут большими. По крайней мере именно так я и делаю - сначала раскручиваю сайт мало задумываясь о серверной нагрузке, затем, если он выходит на крейсерские объемы, а для меня это 2 к уников, то оптимизирую его.
Но у меня свои принципы работы, я делаю 100-страничники рассчитанные на 2-3 к посетителей. Мне выгоднее иметь два сайта по 3к уников, чем один в 6к.