Handapatsstjórnun - GunnarThorunnarson/FORR3FV05EU GitHub Wiki

Í þessu hluta ætlum við að vinna með stjórnun með handapati (e. hand gestures). Við munum notast við MediaPipe frá Google. MediaPipe leyfir þér að bæta við vélanámi (e. Machine Learning), sjá nánar t.d. MediaPipe for Dummies.

• Kynning (myndband)
• Gesture recognition task guide veljum svo Web
• MediaPipe Studio (þarft Google account), prófaðu að breyta CPU/GPU
• kóðadæmi og annað á codepen

• Kynning (myndband)
• Hand landmarks detection guide veljum svo Web
• kóðadæmi (rotate) og annað á codepen

• Computer Vision part 1 og part 2.
• Creating a 3D Hand Controller Using a Webcam with MediaPipe and Three.js
• Nemaverkefni

Notaðu eitthvað af gesture recognition modelum; "Closed_Fist", "Open_Palm", "Pointing_Up", "Thumb_Down", "Thumb_Up", "Victory", "ILoveYou":

1. Til að snúa (e.rotate) 3D hlut sem þú scannaðir í síðasta verkefni (x, z, y ás) á skjá.
2. Notaðu drawingUtils.drawConnectos og drawingUtils.drawLandmarks til að sjá gestur detection á hönd (frjáls útfærsla).

---

• Nota þarf LiveServer í VSCode. Ef þú villt nota símann þá Local port forwarding.
• Að kanna vinnsluhraða (GPU/CPU): Pófaðu GPU í task manager. Skoðaðu hardware acceleration í chrome. Þú getur prófað síðu sem keyrir á GPU t.d. youtube eða webgl, enable þá. Notaðu delegate GPU í kóðanum (delegate CPU til vara ekki eins hraðvirkt, fer eftir tölvum hvort hentar betur).