Prepoznava ljudi na podlagi uhljev

Si predstavljate, da bi se lahko oglasili na telefon tako, da bi ga le prislonili na uho? Ali pa, da bi zamaskiranega človeka prepoznali samo na podlagi uhljev? Z dokaj neraziskanim področjem razpoznave ljudi na podlagi uhljev se v svojem doktorskem delu ukvarja Žiga Emeršič, doktorski študent – asistent na Fakulteti za računalništvo in informatiko Univerze v Ljubljani in raziskovalec v Laboratoriju za računalniški vid. Žiga se je z razpoznavo uhljev začel ukvarjati že na magistrskem študiju, sedaj pa svojo raziskavo še poglablja.

Zakaj raziskovati uhlje, če ljudi običajno prepoznavamo po obrazih?

Tovrstna razpoznava pride prav, če imamo obraz, ki je na voljo samo iz profila, ima oseba na obrazu masko ali pa je obraz kako drugače slabo viden, zaradi slabe osvetlitev, zamegljenega posnetek itd. Tehnike razpoznave uhljev so lahko uporabne same zase ali pa kot dopolnitev obstoječim sistemom razpoznave oseb. Zelo praktično bi bilo, če bi se na telefon lahko oglašali zgolj s tem, da bi telefon prislonili direktno k uhlju. Področje je še relativno neraziskano, sploh v primerjavi z obrazi, kar ga naredi še toliko bolj zanimivega. Naj poudarim, da raziskav s tega področja ne bi bilo brez res odličnih mentorjev izr. prof. dr. Petra Peera in izr. prof. dr. Vitomirja Štruca.

Kako poteka raziskovanje?

Postopek razpoznave se prične z dvodimenzionalnimi fotografijami oseb, na katerih je treba najprej pridobiti področja uhljev. To lahko opravimo ročno ali samodejno z uporabo algoritmov za detekcijo oz. segmentacijo. Na začetku je bilo treba uhlje obrezati ročno. Izrezali smo nekaj manj kot dva tisoč uhljev, da smo ustvarili bazo, ki je bila uporabna za evalvacijo obstoječih in za razvoj novih pristopov. Na pridobljenih fotografijah uhljev smo uporabili klasične pristope z luščenjem značilk in zelo popularne konvolucijske nevronske mreže. Prvi pristop vključuje programiranje določenih pravil oz. odzivov na vhodne podatke. Glede na kontrastne nivoje se lahko izračunajo vektorji vrednosti, ki opisujejo fotografijo. Pri pristopu z globokim učenjem oz. konvolucijskimi nevronskimi mrežami pa določena pravila računalnik sestavi sam, glede na množico vhodnih podatkov. Če smo na začetku še mislili, da bomo določene doprinose dosegli s klasičnimi pristopi, je zdaj jasno, da globoke nevronske mreže povsem zmagujejo, in to ne samo na področju razpoznave uhljev ali biometrije, temveč tudi splošno na področju računalniškega vida.

Kako pa dobiš tisoče in tisoče fotografij?

Naš cilj je bil razviti pristope, ki bi bili sposobni delovati na fotografijah iz resničnega sveta. Ročno fotografiranje ljudi v nekih laboratorijskih pogojih s fiksno osvetlitvijo je torej odpadlo, zato smo uporabili fotografije s spleta. Obstaja več načinov, kako pridobiti uporabne fotografije uhljev. Lahko si pomagamo z obstoječimi algoritmi za detekcijo ali pa to opravimo ročno. Mi smo uporabili oba načina. Z lastnim delom in s pomočjo zelo pridnih študentov smo prišli do skoraj deset tisoč fotografij uhljev.

So se pojavljale kakšne težave?

Seveda! Težave vezane na uhlje so v veliki meri podobne težavam pri drugih biometričnih modalnostih – slaba osvetlitev, zamegljene slike, visoki koti zajema fotografije. Poleg klasičnih težav z nevronskimi mrežami, kjer pravzaprav ne vemo, kaj točno se je po fazi učenja v ozadju zgodilo, se pri uhljih pojavlja še težava prekrivanja. Še posebej je opazna pri ženskah, kadar lasje ušesa popolnoma ali deloma prekrivajo, še večje preglavice pa nam povzročajo uhani. Če uhlje tretiramo celostno, se lahko zgodi, da kot biometrične podatke zajamemo tudi tujke. Če oseba ob registraciji nosi določene uhane, ob prijavi v sistem pa jih nima ali nosi drugačne, bi se lahko zgodilo, da je sistem ne bi spustil naprej. Še slabše bi bilo, če bi podobne uhane nosil kdo drug in bi ga zato sistem spustil naprej, kljub drugačnim uhljem. To trenutno skušamo rešiti z zaznavanjem in odstranjevanjem objektov, ki niso del uhlja.

So uhlji dejansko tako specifični?

Uhlji so kot prstni odtisi. Glavna prednost pred slednjimi je ta, da ne potrebujemo sodelovanja uporabnika, da biometrične podatke pridobimo. Osebi ni treba prisloniti uhlja na nek senzor, kot je to običajno pri prstih, od obrazov pa so boljši v tem, da lahko zaradi faktorja naključnosti pri rasti uhljev razločujemo tudi dvojčke. V primerjavi z obrazi naj bi bil manjši tudi vpliv starosti. Naj omenim anekdoto: ob pripravljanju baze slik uhljev sem naletel na črnobelo (sivinsko) fotografijo, kjer je bila oseba občutno mlajša kot na drugih fotografijah. Prepričan sem bil, da gre za starejšo fotografijo osebe iz mladih let in sem uhlje normalno obrezal. Kasneje, ko sem šel skozi fotografije uhljev dotične osebe, mi je ta uhelj takoj padel v oko, saj se po izgledu ni skladal z drugimi. Ob iskanju izvirne fotografije sem ugotovil, da to ni oseba v mlajših letih, temveč gre za fotografijo njegovega sina! Fotografija je bila namreč črnobela zaradi estetskih razlogov. Nauk zgodbe je, da obrazi niso dovolj, potrebujemo tudi uhlje!

Kako pa je z raziskovanjem razpoznave uhljev v svetu?

Trenutno vem za okoli 15 raziskovalnih skupin, ki se ukvarjajo z uhlji. V primerjavi z obrazi gre za neprimerno manj zastopano modalnost. S Petrom in Vitomirjem smo leta 2017 v okviru konference IJCB (International Joint Conference on Biometrics) organizirali prvo tekmovanje v razpoznavi uhljev: Unconstrained Ear Recognition Challenge. Sodelovali so raziskovalci iz Indije, ZDA, Irana, Velike Britanije in Turčije ter so predstavili takrat najboljše pristope k razpoznavi uhljev na svetu. Tovrstna tekmovanja predstavljajo velik doprinos k znanosti, zato nameravamo naslednje tekmovanje ponoviti v letu 2019.

Se boš tudi po doktoratu ukvarjal z razpoznavo uhljev?

Uhlji še nekaj časa ne bodo izčrpani, obstaja pa še veliko področij biometrije in navsezadnje računalniškega vida, ki me zanimajo.

Drugi prijavni rok za oddajo prijave za vpis na doktorski študijski program Računalništvo in informatika je odprt od 5. julija 2018 do 31. avgusta 2018.