На старом ноуте я запускал tiny модели через llama.cpp — работают нормально, если не замахиваться на большие. Главное, чтобы хоть 8 ГБ было и SSD, иначе тормоза обеспечены. Сам пока не пробовал quantized версии, но слышал, что они реально помогают сэкономить ресурсы и ускоряют запуск.