Если у тебя базовое железо, то самые заметные прыжки даст SSD и добавление ОЗУ. Настройки вроде swappiness или отключение лишних сервисов — это для тонкой подгонки, эффекты обычно маленькие и не всегда стабильные. Для десктопа проще сделать проще окружение и взять нормальный накопитель, а на серверах действительно важна минимализация нагрузки, но это уже для опытных.