Чаще всего просто смотрю на репутацию софта и отзывы. Если много нареканий — сразу осторожнее. Пару раз запускал в виртуалке, чтоб не рисковать сразу основным компом. Антивирус и проверка прав — обязательны, но реально больше помогает простое наблюдение за тем, что программа делает по факту, а не просто верить описанию.