Для старта проще взять C#, если хочешь быстро сделать что-то под Windows или с нормальным GUI. Java крута для кроссплатформенности и серверов, но там больше заморочек с настройками. В общем, оба ок, просто смотри, что ближе по задачам.