Если железо слабое – лучше сразу на лёгкие модели смотреть, иначе просто будет долго и греется всё. Llama 2 и Falcon крутые, но требуют серьёзных ресурсов, так что не для каждого. GGML-формат в офлайне облегчает работу с моделями, и это реально плюс. Важно понимать, что и зачем нужно, иначе можно заблудиться в куче вариантов и настроек. Просто попробовать что-то из свежих репозиториев — с этим меньше гемора.