Честно, местный запуск больших моделей — это всегда компромисс, и без мощного железа будет либо жёсткий лаг, либо сильное упрощение модели. Думаю, пока что полностью от облака сложно отказаться, если нужна нормальная скорость и адекватный отклик.