В крипто CTF главное — понять базовые шифры и принципы криптоанализа, а не пытаться сразу гнаться за сложными алгоритмами. Знание классики, типа Цезаря или Виженера, помогает быстро схватывать логику задач. Потом уже можно переходить к RSA и другим современным штукам, но без основ тут не обойтись.