На старом компе с 8 ГБ и без нормального GPU реально спасают tiny-модели вроде уменьшенных версий LLaMA или GPT-2. Они не грузят систему до предела и работают на процессоре без жутких тормозов. Главное — брать оптимизированные варианты и quantized, чтобы не жрали ОЗУ и не грелись сильно. Проверял на LM Studio — пойдет, если не гонять топовые варианты.