Если решил запустить нейросеть у себя на железе и не знаешь, на чем сосредоточиться — вот мои мысли. Во-первых, нужно смотреть не только на качество модели, но и на требования к ресурсам — сколько оперативки, видеопамяти будет жрать. Второй момент — лицензия и возможность легально запускать эту модель. Не все open source одинаково дружелюбны к использованию. Ещё важно проверить, насколько сообщество поддерживает модель — будет ли с ней проще решать проблемы, обновлять, интегрировать.

По опыту, чтобы не сесть в лужу, сначала стоит проверить, насколько реально модель запускается именно на твоём железе — например, через Docker, если это поддерживается, или хотя бы минимальный тест на скорость отклика. Если железо слабое, лучше смотреть в сторону облегченок — пусть с меньшей точностью, но чтобы не тупить. Ну и не забывать, что модель — это только часть дела, ещё нужен нормальный интерфейс и удобство работы.

Плюс можно выбирать между русскоязычными версиями и международными — исходя из цели использования. Кто что ещё учитывает при выборе локальной модели?