VirusTotal и песочница — базовый минимум для проверки. Если программа требует слишком много прав или странно общается с сетью, лучше не рисковать. Иногда достаточно просто глянуть на отзывы и активность разработчика, чтобы не ставить что попало. В наше время играться с безопасностью — не лучший вариант, проще сразу проверить, чем потом восстанавливать систему.