--- title: "Rekonosimentu di postura humano na tempu real via vishon di kompiuter" date: 2019-12-01 language: pap topics: ["art", "data", "experiment", "game", "people", "sensors", "work"] source_url: https://willem.com/pap/2019-12-01_rekonosimentu-di-postura-humano-na-tempu-real-via-vishon-di-kompiuter/ --- # Rekonosimentu di postura humano na tempu real via vishon di kompiuter *Ku TensorFlow i PoseNet riba un feed di video* > Pa un proyekto nobo i interesante mi a eksperimentá ku vishon di kompiuter, ku TensorFlow. Mi tabata ke logra detekshon di postura humano na tempu real, pa manehá proyekshon di video interaktivo i wega. Ora pa zambuyi den e mundu di machine learning, tensor i vishon di kompiuter! ## Vishon di kompiuter Mas interesante ainda ta e kampo sientífiko interdisiplinario di vishon di kompiuter. E ta trata di kon un kompiuter por haña un komprendementu di nivel haltu di imagen digital i feed di video. Esaki ta inkluí retonan pa adkirí, prosesá i analisá imagen digital. Na final bo ke ku e kompiuter tuma desishon basá riba loke e komprendé di e mundu (komplekso) rondó di dje. ## TensorFlow TensorFlow ta un plataforma open source di punta pa punta pa machine learning, desaroyá na prinsipio pa Google. E ta basá riba trabou sientífiko di diferente investigadó i for di e tempu ei e a bira un ekosistema stabil i robusto di herment, bibliotek i fuente di komunidat. E nòmber "TensorFlow" ta bini di e konsepto di un "flow di tensor". Un tensor bo por deskribi mihó manera un "kos", pareu ku algu ku e kompiuter a rekonosé of ta purba analisá. Tekniko un tensor ta un array multidimensional ku balor numériko. Esaki ta laga e kompiuter kompará diferente "kos" i mira kon nan karakterístika ta parse (of ta diferente). E reto prinsipal ku prosesamentu di imagen na tempu real ta pa redusí e kompleksidat di e imagen na pedasnan ku por wòrdu ekspresá komo tensor. Mayoria di biaha esaki ta nifiká hopi pasu den e algoritmo di vishon di kompiuter. Pasunan manera rekonosé un forma, korta riba e forma ei, kambia su grandura, kita su koló, kompará e kontornonan, etc. Tensor ta flui pa e pasunan aki, for di 'no analisá' te 'rekonosé', di akí e nòmber TensorFlow. ## Poder di prosesamentu E kos grandi di machine learning moderno ku TensorFlow ta ku mayoria di biaha bo no tin mester di hardware (hopi) kostoso pa logra resultado. Esei ta pasobra e "trabou pisá" ta wòrdu hasí ora ta entrená modelo di machine learning, ku bo por imaginá un tiki manera "tabla di referensia". E modelonan aki ta wòrdu krea dor di analisá dataset konosí, kaminda e kompiuter ta haña e 'kontesta' i ta determiná e karakterístikanan di e sujeto. Entrená modelo ta rekerí tempu, poder di prosesamentu i dato di entrenamentu. ## Dato di entrenamentu Google a hasi algu hopi sabí: e a distribuí e entrenamentu di su modelonan di machine learning entre tur nos. Sí, esei ta inkluí bo tambe! ### Recaptcha Probabel bo a topa ku "reCAPTCHA" of "Recaptcha". Un reto visual ku bo mester kompletá ora bo ta kompra algu online of ora bo ta purba registrá bo na algun lugá. E reto aki ta protehá propietarionan di webshop i website kontra (spam)bot. Su meta ta pa distingui hende di bot. E ta hasi esei dor di mustra imagen (komplekso) na hende i pidi nan pa identifiká objeto den e imagennan. Manera sinjal di tráfiko, krusada, outo, etc. Google_ta_usa_e_reakshon_humano_aki (https://www.techradar.com/news/captcha-if-you-can-how-youve-been-training-ai-for-years-without-realising-it) pa entrená su modelonan. ![ReCaptcha: bo ta entrená e IA di Google pa aña largu!](https://willem.com/global/images/50568e89a5e8.webp) E kos grandi ta ku hopi di loke Google ta haña ta wòrdu hasí públiko. Tin hopi proyekto open source interesante ku ta laga nos, desaroyadó simpel, hasi kosnan sorprendente ku machine learning. ## Rekonosimentu di postura humano ku: PoseNet Unu di e modelonan disponibel aki ta PoseNet (https://www.tensorflow.org/lite/models/pose_estimation/overview). E ta un modelo di vishon ku por wòrdu usa pa estimá e postura di un persona den un imagen of video. Esaki ta wòrdu hasí dor di determiná unda e huntura prinsipal di kurpa ta, manera bo kodo, bo man, bo kaderanan, bo rudia, bo tobia, etc. ![Mi i mini-mi ta wòrdu rekonosé pa e modelo PoseNet](https://willem.com/global/images/7953a7232386.webp) ### Algoritmo Single Shot MultiBox Detector (SSD) E Single Shot MultiBox Detector ta un algoritmo popular pa detektá objeto den imagen i feed di video. E ta popular pa motibu di su velosidat. E prinsipio ta bastante fásil pa komprendé: e algoritmo ta purba redusí e kompleksidat di e imagen asina lihé ku e por, i ta hasi analisis profundo so riba mapa di karakterístika ku a wòrdu enkogí i simplifiká. E manera aki ta funshoná mihó ora bo ke detektá objeto grandi, pasobra nan ta resaltá rápido: nan ta generá sufisiente karakterístika di nivel haltu pa hasi predikshon temprano den e algoritmo. Esaki ta ekselente pa detekshon di kurpa, ku ta unu di e promé pasunan ora bo ke determiná postura humano (promé mira *unda* un persona ta, despues *kua* postura e tin). ![Algoritmo MobileNet-SSD (imagen: hey-yahei.cn)](https://willem.com/global/images/567b618c7f65.webp) Rekonosimentu di imagen i di persona ta algu kaminda e hendenan di Sina (https://hey-yahei.cn/2018/08/08/MobileNets-SSD/index.html) ta bon hopi, pa diferente motibu. Nan algoritmonan ta traha bon riba hardware bastante débil. Esei ta hasi posibel ku vishon di kompiuter ta funshoná bon riba tur sorto di aparato, na tempu real! ## Ehèmpelnan di uso kool Por detektá postura na tempu real ta habri portanan pa tur sorto di kos kool. Bo - literal - por bira e kontrolado di wega of e input pa un instalashon di arte interaktivo! ### Spièl PomPom Ku 928 bola di pèl falsu, e instalashon_di_arte_di_Daniel_Rozin (https://vimeo.com/128375543) ta impresionante. E skultura ta kontrolá pa shen di motor ku ta konstruí silueta di e hendenan ku ta mira, ku yuda di vishon di kompiuter. ![Spièl di bola di pèl falsu PomPom di Daniel Rozin](https://willem.com/global/images/34fceca59e7a.webp) ### Bira un ave: The Treachery of Sanctuary Pa laga hende pèrdè nan mes pa un momento tabata posibel so dor di huntá diferente disiplina. E instalashon_di_arte_interaktivo_dirigí_pa_Chris_Milk (https://www.youtube.com/watch?v=I5__9hq-yas&feature=youtu.be) ta un triptiko gigante ku ta hiba e hendenan ku ta mira pa diferente fase di bolo, ku yuda di vishon di kompiuter. ![Kambia hende den ave ku vishon di kompiuter](https://willem.com/global/images/e4956ea74e75.webp) ## Konklushon Traha riba proyekto kreativo i eksperimental ta un privilegio inkreibel, esei ta loke ta hasi mi trabou asina interesante. Ku monton di dato ku ta krese semper mas, duna sentido digital i outónomo na dato ta un reto grandi pa futuro: unu ku mi ta ansiá pa traha riba dje!