Волновой алгоритм
http://ocrai.narod.ru/vectory.html
Canny
http://en.wikipedia.org/wiki/Canny_edge_detector

ПС:Были попытки реализовать на С волновой алгоритм если найду скину.