В целом, локальные нейросети уже вполне себе рабочая вещь на домашнем железе, если не пытаться запустить супертяжёлые модели. Главное — найти более лёгкий вариант под свои задачи и не зацикливаться на максимальной точности. Главное ограничение — свежее обновление и невозможность подгрузить новые данные в реальном времени, но для многих задач это не критично.