--- title: "Realtime werkenning fan minsklike hâldingen mei kompjûterfisy" date: 2019-12-01 language: fy topics: ["art", "data", "experiment", "game", "people", "sensors", "work"] source_url: https://willem.com/fy/2019-12-01_realtime-werkenning-fan-minsklike-haldingen-mei-kompjuterfisy/ --- # Realtime werkenning fan minsklike hâldingen mei kompjûterfisy *TensorFlow en PoseNet brûke op in fideostream* > Foar in spannend nij projekt haw ik eksperimintearre mei kompjûterfisy en TensorFlow. Ik woe minsklike hâldingen yn realtime werkenne, om der ynteraktive fideoprojeksjes en spultsjes mei oan te stjoeren. Tiid om my yn de wrâld fan machine learning, tensors en kompjûterfisy te ferdjipjen! ## Kompjûterfisy Echt spannend is it ynterdissiplinêre wittenskiplike fjild fan kompjûterfisy. It giet derom hoe't kompjûters in begryp op heech nivo krije kinne fan digitale ôfbyldings en fideostreams. It omfettet útdagings om digitale ôfbyldings te krijen, te ferwurkjen en te analysearjen. Op it lêst wolst do dat de kompjûter besluten nimt op grûn fan syn begryp fan de (komplekse) wrâld om him hinne. ## TensorFlow TensorFlow is in end-to-end open source platfoarm foar machine learning, oarspronklik ûntwikkele troch Google. It is basearre op wittenskiplik wurk fan ferskate gelearden en is yntusken útgroeid ta in stabyl en robúst ekosysteem fan ark, bibleteken en boarnen fan de mienskip. De namme "TensorFlow" komt fan it idee fan in "stream fan tensors". In tensor kinst do it bêste beskriuwe as in "ding", lykas wat de kompjûter werkend hat - of besiket te analysearjen. Technysk is in tensor in multydimensjonale array mei numerike wearden. Sa kin de kompjûter ferskillende "dingen" fergelykje en sjen hoe't harren eigenskippen oerienkomme (of ferskille). De wichtichste útdaging by realtime ôfbyldingsferwurking is de kompleksiteit fan it byld werom te bringen ta ferwurkbere brokken dy't as tensors útdrukt wurde kinne. Meastal binne dat in protte stappen yn it algoritme fan de kompjûterfisy. Stappen lykas: in foarm werkenne, op dy foarm útsnije, it formaat oanpasse, de kleur fuortsmite, de kontoeren fergelykje, ensfh. Tensors streame troch dizze stappen, fan 'unanalysearre' nei 'werkend', dêrom de namme TensorFlow. ## Ferwurkingskrêft It geweldige oan moderne machine learning mei TensorFlow is dat do yn it algemien gjin (hiel) djoere hardware nedich hast om resultaten te heljen. Dat komt om't it "swiere wurk" dien wurdt as de modellen fan machine learning trainearre wurde. Do kinst se in bytsje sjen as "referinsjetabellen". Dizze modellen wurde makke troch bekende datasets te analysearjen, dêr't de kompjûter it 'antwurd' by krijt en sels de eigenskippen fan it ûnderwerp bepaalt. Modellen trainearje kostet tiid, ferwurkingskrêft en trainingsgegevens. ## Trainingsgegevens Google die wat echt tûks: it ferdielde it trainearjen fan syn modellen oer ús allegearre. Ja, dat slút dy ek yn! ### Recaptcha Grif ken do "reCAPTCHA" of "Recaptcha". In fisuele útdaging dy't do foltôgje moatst as do online wat bestelst of earne registrearje wolst. Dizze útdaging beskermet eigners fan webshops en websites tsjin (spam)bots. It doel is om minsken fan bots te ûnderskieden. Dat docht it troch minsken (komplekse) ôfbyldings te jaan, dêr't se objekten yn identifisearje moatte. Lykas ferkearsboerden, krusingen, auto's, ensfh. Google_brûkt_dizze_minsklike_feedback (https://www.techradar.com/news/captcha-if-you-can-how-youve-been-training-ai-for-years-without-realising-it) om syn modellen te trainearjen. ![ReCaptcha: do hast jierrenlang de AI fan Google trainearre!](https://willem.com/global/images/50568e89a5e8.webp) It geweldige is dat in protte fynsten fan Google iepenbier beskikber steld wurde; der binne in soad nijsgjirrige open source projekten dy't ús - gewoane ûntwikkelders - geweldige dingen dwaan litte mei machine learning. ## Minsklike hâldingswerkenning mei: PoseNet Ien fan dizze beskikbere modellen foar machine learning is PoseNet (https://www.tensorflow.org/lite/models/pose_estimation/overview). It is in fisymodel dat brûkt wurde kin om de hâlding fan in persoan op in ôfbylding of fideo te skatten. Dat wurdt dien troch te bepalen wêr't de wichtichste lichemsgewrichten sitte, lykas dyn elmbogen, hannen, heupen, knibbels, ankels, ensfh. ![Myn mini-ik en ik wurde werkend troch it PoseNet-model](https://willem.com/global/images/7953a7232386.webp) ### Single Shot MultiBox Detector (SSD) algoritme De Single Shot MultiBox Detector is in populêr algoritme om objekten yn ôfbyldings en fideostreams te ûntdekken. It is populêr om syn snelheid. It prinsipe is relatyf ienfâldich te begripen: it algoritme besiket de kompleksiteit fan it byld sa gau mooglik del te bringen en docht allinnich djippe analyses op ferlytse, ferienfâldige kenmerkkaarten. Dizze oanpak wurket it bêste as do grutte objekten ûntdekke wolst, want dy falle gau op: se leverje al betiid yn it algoritme genôch kenmerken op heech nivo om foarsizzings te dwaan. Dat is geweldich foar lichemsdeteksje, ien fan de earste stappen as do minsklike hâldingen bepale wolst (sjoch earst *wêr't* in persoan is, dan *wat* syn/har hâlding is). ![MobileNet-SSD-algoritme (ôfbylding: hey-yahei.cn)](https://willem.com/global/images/567b618c7f65.webp) Byld- en persoansherkenning is wat de minsken út Sina (https://hey-yahei.cn/2018/08/08/MobileNets-SSD/index.html) bysûnder goed yn binne, om ferskate redenen. Harren algoritmen prestearje goed op relatyf swakke hardware. Dat makket it mooglik dat kompjûterfisy op allerhanne apparaten goed wurket, yn realtime! ## Knappe tapassingen Mei hâldingen yn realtime te detektearjen kin allerhanne moais. Do kinst - letterlik - de controller fan in spultsje wurde of de ynfier fan in ynteraktive keunstynstallaasje! ### PomPom-spegel Mei 928 bolfoarmige pompons fan kunstfel is dizze keunstynstallaasje_fan_Daniel_Rozin (https://vimeo.com/128375543) geweldich. De skulptuer wurdt oanstjoerd troch hûnderten motors dy't mei kompjûterfisy silhouetten fan de besikers opbouwe. ![PomPom-spegel fan kunstfel fan Daniel Rozin](https://willem.com/global/images/34fceca59e7a.webp) ### Dy feroarje yn in fûgel: The Treachery of Sanctuary Minsken in momint harsels ferjitte litte wie allinnich mooglik troch ferskate dissiplines byinoar te bringen. Dizze geweldige ynteraktive_keunstynstallaasje_fan_Chris_Milk (https://www.youtube.com/watch?v=I5__9hq-yas&feature=youtu.be) is in gigantysk triptyk dat de besikers mei kompjûterfisy troch ferskillende stadia fan de flecht liedt. ![Minsken yn fûgels feroarje mei kompjûterfisy](https://willem.com/global/images/e4956ea74e75.webp) ## Konklúzje Wurkje oan kreative en eksperimintele projekten is in geweldich foarrjocht, it is wat myn wurk sa spannend makket. Mei hieltyd grutter wurdende bergen gegevens is it digitaal en autonoom betsjutting jaan oan dy gegevens in grutte útdaging foar de takomst: ien dêr't ik graach oan wurkje wol!