По моему, чтобы локалка на обычном ПК летала, лучше сразу смотреть в сторону quantized моделей, они реально легче для процессора и меньше памяти съедают. Не стоит сразу гнаться за самыми большими LLM, иначе будешь ждать загрузку вечность. Главное — выбрать то, что реально тянет твой комп, тогда и работать будет нормально.