手部追踪 - Elegetic/VTubeStudio GitHub Wiki

得益于Google MediaPipe,VTube Studio现支持实验性的手部追踪,目前仅支持Windows系统。

你可以将网络摄像头手部追踪与网络摄像头面部追踪/手机面部追踪相结合。

手部追踪参数可直接用于控制Live2D参数(包括单个手指的参数),也可以用于检测手势,用其触发热键来激活手势、动画等功能。

请注意,手部追踪目前仍为实验性功能,追踪效果远远称不上完美。该功能可能在未来会有所改进,但就目前而言,至少可以享受它所带来的乐趣。

激活手部追踪

在VTube Studio的网络摄像头设置中,选择仅使用手部追踪面部与手部追踪。若使用iPhone进行面部追踪,应在此处选择仅使用手部追踪。接着开启网络摄像头,此时应该已经可以追踪手部了。追踪器可能需要花上几秒去识别双手。

你可以快速活动手指,但请注意,快速移动手部可能会使追踪丢失。

追踪预览下的圆圈显示了手指角度(全蓝表示该手指完全竖起,全白则为完全弯曲)。下方的条形图显示了每只手的“张开程度”。中间两点显示了双手间的距离。这些所有参数与手的位置(相对于中心)都可以被用作追踪参数(“输入”)。

下方显示了可检测到的手势。左右手可以各选择一个手势(分别在左右侧显示)。此外,也有一些需要同时使用双手的特殊动作,它们会显示在中间。

使用手势激活热键

在热键栏中找到“手势”按钮并按下,你会看到包含手部追踪预览在内的如下窗口:

你能够在这里创建一个用于激活热键的手势组合。你可以左右手各选择一个姿势,亦可选择一个“双手姿势”(三角或对手指)。你也能仅使用单手姿势。

你可以选择是否必须检测到双手手势才能激活热键(使用和/或),并配置是否同时支持镜像手势。

最后,你可以设置检测到手势与激活热键间的时间间隔。

若该热键激活的是表情,你也可以设置该表情仅在检测到手势时触发。

使用手部追踪参数作为输入

你可以使用手部追踪参数作为VTube Studio模型的追踪输入以控制Live2D参数。再次提醒,这些功能也许会出错,请小心使用。

目前支持以下参数:

  • 特殊参数
    • HandLeftFound: 左手被追踪到为1,其余为0。
    • HandRightFound: 右手被追踪到为1,其余为0。
    • BothHandsFound: 双手都被追踪到为1,其余为0。
    • HandDistance: 双手(以都被追踪到为前提)间的距离。
  • 手部位置
    • HandLeftPositionX: 离中心的X轴距离(左手)。
    • HandLeftPositionY: 离中心的Y轴距离(左手)。
    • HandLeftPositionZ: 离中心的Z轴距离(左手)。
    • HandRightPositionX: 离中心的X轴距离(右手)。
    • HandRightPositionY: 离中心的Y轴距离(右手)。
    • HandRightPositionZ: 离中心的Z轴距离(右手)。
  • 手部角度
    • HandLeftAngleX: 左手的左/右转动。
    • HandLeftAngleZ: 左手的左/右倾斜。
    • HandRightAngleX: 右手的左/右转动
    • HandRightAngleZ: 右手的左/右倾斜。
  • 手指(无需加以说明)
    • HandLeftOpen
    • HandRightOpen
    • HandLeftFinger_1_Thumb
    • HandLeftFinger_2_Index
    • HandLeftFinger_3_Middle
    • HandLeftFinger_4_Ring
    • HandLeftFinger_5_Pinky
    • HandRightFinger_1_Thumb
    • HandRightFinger_2_Index
    • HandRightFinger_3_Middle
    • HandRightFinger_4_Ring
    • HandRightFinger_5_Pinky