Я пока только ковыряюсь с Llama.cpp, оно реально легче и не так грузит ноут. Вроде и без интернета работает, и не тормозит сильно, что для меня уже хорошо. Вся эта кастомизация пока кажется сложной, лучше просто с базой посидеть.