Realtime houdingsherkenning met TensorFlow en PoseNet
Hoe een voorgetraind model gewrichten vindt in een videobeeld.
- Beantwoordt
- Hoe werkt realtime herkenning van menselijke houdingen met TensorFlow en PoseNet?
- Onderwerpen
- art · data · experiment · game · people · sensors · work
- Volledig artikel op willem.com
- https://willem.com/nl/2019-12-01_realtime-herkenning-van-menselijke-houdingen-via-computervisie/
Samenvatting
PoseNet is een TensorFlow-visiemodel dat de houding van een persoon schat door belangrijke gewrichten te lokaliseren, zoals ellebogen, handen, heupen en knieën. Toen ik er in 2019 mee experimenteerde, draaide het realtime op gewone hardware, omdat het model al getraind was.
Volledige tekst
TensorFlow is een open source machine learning platform, oorspronkelijk ontwikkeld door Google. Een tensor is een multidimensionale array met numerieke waarden, en beelden stromen door een keten van stappen, bijsnijden, verkleinen, kleur weghalen, contouren vergelijken, van ongeanalyseerd naar herkend. Het zware werk gebeurt bij het trainen van modellen, dus een getraind model draaien vraagt geen erg dure hardware. PoseNet is zo'n voorgetraind visiemodel: het schat de houding van een persoon door belangrijke gewrichten te vinden, ellebogen, handen, heupen, knieën en enkels. De lichaamsdetectie gebruikt eerst de Single Shot MultiBox Detector (SSD), een snel algoritme dat het beeld terugbrengt tot vereenvoudigde feature maps en vroeg voorspelt, wat goed past bij grote objecten zoals mensen. Met live gedetecteerde houdingen kan iemand letterlijk de game controller worden of een interactieve kunstinstallatie aansturen.