Boa tarde,
Antes de mais nada, a velocidade de seu site depende de muitos fatores, que vão desde o servidor, front-end até back-end. Infelizmente não trabalho com back-end, mas posso verificar todas as possiblidades no servidor e front-end.
Grandes chances de tudo se solucionar somente no front-end, revisando o html e css de seu site, minificando e reduzindo o tamanho de imagens. Quando desenvolvo o front-end de um site, costumo seguir todos estes passos para que o site fique o mais leve possível, costumo também criar imagens específicas para cada tamanho de tela, reduzindo o tempo de carregamento.
Abraços.