сервер шлет ключ шифрования. клиент им шифрует свой пас и отправляет серверу.
Сервер расшифровывает пас и потом проверяет его.

Если это организовать на основе шифрования с открытым ключем то довольно надежно. тем более что не обязательно делать всё на RSA, потому что есть и более простые в реализации алгоритмы асиметричного шифрования.