Серверная часть

Лучше всего использовать Nginx, настроив на нем правила клиентского кеширования и сжатия.

Внутренний кеш PHP позволяет снизить потребление ресурсов на обработку PHP.

Стандартная сборка MySQL имеет неоптимальную конфигурацию. Убедитесь, что параметры MySQL подстроены под используемый сервер.

В большинстве случаев использовать кеш нужно обязательно. Лучше использовать плагин WP Super Cache либо Varnish для кеширования на уровне сервера.

Статика

Минимизация статических файлов позволяет уменьшить их размер на 10...20%. Плагин WP Minify позволяет включить минификацию очень просто и быстро.

Все современные браузеры поддерживают сжатый контент в формате gzip. Сжатие позволит уменьшить текстовые файлы (HTML, JS, CSS и т.п.) в несколько раз. Смотрите, как включить сжатие в Nginx.

Картинки могут составлять до 80% размера страницы. Правильный формат и сжатие без потери качества позволит существенно уменьшить их размер.

Управление и хорошие практики

Поддерживайте чистоту — удаляйте старые ревизии и спам, очищайте корзину. Для этого есть плагин WP Optimize, который сделает все сам.

Используйте только проверенные плагины и темы, смотрите на отзывы и рейтинги. Тестируйте скорость разных тем с помощью Pagespeed.

Выбирайте VPS хостинг вместо shared. Сейчас VPS можно арендовать за несколько долларов в месяц. За это получите изолированную среду + возможность настроить все оптимально.