手部追踪 - Elegetic/VTubeStudio GitHub Wiki
得益于Google MediaPipe,VTube Studio现支持实验性的手部追踪,目前仅支持Windows系统。
你可以将网络摄像头手部追踪与网络摄像头面部追踪/手机面部追踪相结合。
手部追踪参数可直接用于控制Live2D参数(包括单个手指的参数),也可以用于检测手势,用其触发热键来激活手势、动画等功能。
请注意,手部追踪目前仍为实验性功能,追踪效果远远称不上完美。该功能可能在未来会有所改进,但就目前而言,至少可以享受它所带来的乐趣。
激活手部追踪
在VTube Studio的网络摄像头设置中,选择仅使用手部追踪
或面部与手部追踪
。若使用iPhone进行面部追踪,应在此处选择仅使用手部追踪
。接着开启网络摄像头,此时应该已经可以追踪手部了。追踪器可能需要花上几秒去识别双手。
你可以快速活动手指,但请注意,快速移动手部可能会使追踪丢失。
追踪预览下的圆圈显示了手指角度(全蓝表示该手指完全竖起,全白则为完全弯曲)。下方的条形图显示了每只手的“张开程度”。中间两点显示了双手间的距离。这些所有参数与手的位置(相对于中心)都可以被用作追踪参数(“输入”)。
下方显示了可检测到的手势。左右手可以各选择一个手势(分别在左右侧显示)。此外,也有一些需要同时使用双手的特殊动作,它们会显示在中间。
使用手势激活热键
在热键栏中找到“手势”按钮并按下,你会看到包含手部追踪预览在内的如下窗口:
你能够在这里创建一个用于激活热键的手势组合。你可以左右手各选择一个姿势,亦可选择一个“双手姿势”(三角或对手指)。你也能仅使用单手姿势。
你可以选择是否必须检测到双手手势才能激活热键(使用和/或),并配置是否同时支持镜像手势。
最后,你可以设置检测到手势与激活热键间的时间间隔。
若该热键激活的是表情,你也可以设置该表情仅在检测到手势时触发。
使用手部追踪参数作为输入
你可以使用手部追踪参数作为VTube Studio模型的追踪输入以控制Live2D参数。再次提醒,这些功能也许会出错,请小心使用。
目前支持以下参数:
- 特殊参数
HandLeftFound
: 左手被追踪到为1,其余为0。HandRightFound
: 右手被追踪到为1,其余为0。BothHandsFound
: 双手都被追踪到为1,其余为0。HandDistance
: 双手(以都被追踪到为前提)间的距离。
- 手部位置
HandLeftPositionX
: 离中心的X轴距离(左手)。HandLeftPositionY
: 离中心的Y轴距离(左手)。HandLeftPositionZ
: 离中心的Z轴距离(左手)。HandRightPositionX
: 离中心的X轴距离(右手)。HandRightPositionY
: 离中心的Y轴距离(右手)。HandRightPositionZ
: 离中心的Z轴距离(右手)。
- 手部角度
HandLeftAngleX
: 左手的左/右转动。HandLeftAngleZ
: 左手的左/右倾斜。HandRightAngleX
: 右手的左/右转动HandRightAngleZ
: 右手的左/右倾斜。
- 手指(无需加以说明)
HandLeftOpen
HandRightOpen
HandLeftFinger_1_Thumb
HandLeftFinger_2_Index
HandLeftFinger_3_Middle
HandLeftFinger_4_Ring
HandLeftFinger_5_Pinky
HandRightFinger_1_Thumb
HandRightFinger_2_Index
HandRightFinger_3_Middle
HandRightFinger_4_Ring
HandRightFinger_5_Pinky