На средних железках часто приходится жертвовать скоростью ради удобства — проще взять легкую модель или оптимизировать с quantization. Обновления лучше скачивать, когда есть норм интернет, а для онлайн-работы с большими моделями локалка пока не идеальна, но вполне себе вариант для экспериментов и приватности. Главное — не ждать от неё супербыстрой отклика, если железо не топ.