Reaalajas käte jälgimine
Viipekeelt kasutavad miljonid inimesed kogu maailmas. Teadlased on välja töötanud tehnoloogiaid, mis suudaksid žeste mõista ja need automaatselt inimesele arusaadavasse keelde teisendada. Sellised projektid pole aga täpsuse osas tohutut edu saavutanud.
Google on hiljuti välja töötanud algoritmi, mida saab kasutada käte reaalajas jälgimiseks. Intelligentne süsteem aitab masinõppel luua käekaardi. Kaart luuakse kaamera või nutitelefoni abil. Me ei saa eitada asjaolu, et enamik süsteeme ei suuda käte kiireid liigutusi täpselt tabada. Google on selles uuringus selle probleemiga konkreetselt tegelenud. Huvitaval kombel on nad piiranud algoritmide poolt varem töödeldud andmete hulka.
Kuidas toimib reaalajas käte jälgimine?
Enamik olemasolevaid projekte tõlgib viipekeelt, tuvastades kogu käe suuruse ja asendi. Selle uuringuga. teadlased on kõrvaldanud vajaduse käsitleda erineva suurusega ristkülikukujulisi kujundeid. Google'i süsteem tunneb lihtsalt ruudukujulise peopesa ära. Teiseks tehakse sõrmede jaoks eraldi analüüsiprotsess.
Käeliigutused
Teadlased kasutasid masinõppe algoritmi koolitamiseks umbes 30 000 käsipilti. Need pildid on jäädvustatud erinevates valgustingimustes ja poosides. Seejärel tuvastab süsteem žesti, tehes võrdluse käepoosi ja tuntud üksuste, näiteks palli või õnne, loendi vahel. Google kirjeldab žeste tuvastamist a blogipostitus .
Seejärel kaardistame sõrmeolekute hulga eelnevalt määratletud žestide komplektiks. See sirgjooneline, kuid samas efektiivne tehnika võimaldab meil hinnata põhilisi staatilisi žeste mõistliku kvaliteediga. Olemasolev torujuhe toetab mitme kultuuri, nt. Ameerika, Euroopa ja Hiina ning mitmesugused käemärgid, sealhulgas “pöial püsti”, kinnine rusikas, “OK”, “Rock” ja “Ämblikmees”.
Lõplik käsitsi jälgimise algoritm annab selle kiiruse ja täpsuse osas tipptasemel tulemusi. Algoritm kasutab käivitamiseks MediaPipe raamistikku. See tehnika näib viipekeele valdkonnas olulise edusammuna. Kuigi ikkagi on arenguruumi palju. viipekeele paremaks mõistmiseks. Igaüks saab seda tööd laiendada, et kasutada parema tulemuse saavutamiseks näoilmeid ja mõlemaid käsi.
Kuigi Google'ilt pole ühtegi sõna, on võimalus, et Google saab seda reaalajas käte jälgimise tehnoloogiat täiustada, et seda oma toodetes kasutada. Vahepeal, kui soovite koodiga ringi mängida, on see nii avalikult saadaval GitHubis .
Sildid google
