Сижу на старом ноуте с 8 ГБ оперативы, пробовал GPT-2 small — запускается и даже работает нормально, но чуть подвисает, если текст большой. LLaMA 7B на моём железе кажется совсем нереальным, слишком много памяти нужно. Пока что ограничиваюсь самым простым и не заморачиваюсь с большими моделями, иначе тормоза казнят сразу. Для базовых задач локалки хватает.