手部追蹤 - rubujo/VTubeStudio GitHub Wiki

VTube Studio 支援使用 Google MediaPipe 進行實驗性的手部追蹤，目前僅限 Windows 和 macOS（需要最新版本的 macOS）。

您可以把網路攝影機的手部追蹤與網路攝影機的人臉追蹤或是智慧型手機的人臉追蹤相結合一起使用。

手部追蹤參數可以直接用來控制 Live2D 參數（包括單個手指的參數），或者用來偵測手勢，然後觸發快速鍵來啟用手勢、動畫等。

請記著，這是一個實驗性功能，追蹤效果遠非完美。未來可能會有改進，但目前，至少玩玩還是挺有趣的。

啟用手部追蹤

在 VTube Studio 的網路攝影機設定中，選擇 只有手部追蹤 或 人臉及手部追蹤。如果您是使用 iPhone 裝置來進行人臉追蹤，您應該在此處選擇 只有手部追蹤。然後開啟網路攝影機。您的雙手現在應該被追蹤到了。追蹤器可能需要花一秒鐘的時間才能捕捉到您的雙手。

快速移動手指是沒問題的，但手部的快速移動會讓它立即失去追蹤能力，所以要注意這一點。

https://raw.githubusercontent.com/wiki/rubujo/VTubeStudio/img/vts_hands_1.png

在追蹤預覽下方的圓圈會顯示手指的角度（完全藍色則表示手指伸直，而完全白色則表示手指彎曲）。在其下方的長條圖會顯示每隻手的「手掌張開程度」。而在中間的兩個點則是會顯示手的距離。所有上述的這些以及手的位置（相對於中心）和手的角度都可以作為追蹤參數（「輸入」）。

而在最下面顯示的是偵測到的手勢。右手和左手可以各做一個手勢（如圖中左、右側所示）。此外，有一些特殊姿勢會需要用到雙手。它們將顯示在中間。

使用手勢觸發快速鍵

在快速鍵分頁中，您會找到「手勢」按鈕。點擊該按鈕會顯示以下視窗，包括手部追蹤預覽：

https://raw.githubusercontent.com/wiki/rubujo/VTubeStudio/img/vts_hands_2.png

在此處，您可以建立一個手勢組合來啟用快速鍵。您可為左手選擇一個手勢和為右手選擇一個手勢，或「雙手手勢」（三角形或「是給我的嗎？」手勢）。您也可以只為一隻手選擇手勢。

您可以選擇是否需要兩個手勢都被偵測到才能啟用快速鍵（使用 AND／OR），並設定是否允許鏡像手勢。

最後，您還可以設定一個時間，該時間決定了要偵測到手勢多久才能啟用快速鍵。

如果快速鍵啟用了一個表情，您也可以設定只有在偵測到手勢時才啟動表情。

使用手部追蹤參數作為輸入

您可以將手部追蹤參數作為您的 VTube Studio 模型的追蹤輸入，用以控制 Live2D 參數。同樣的，這些參數可能並不可靠，因此請謹慎使用。

如果您的模型所包括的 Live2D 參數與下面列出的參數 ID 完全一致時，自動設定也會為這些參數建立映射。

可使用以下參數：

  • 特殊
    • HandLeftFound：如果目前已追蹤／找到的是左手，則值為 1，否則值會為 0。
    • HandRightFound：如果目前已追蹤／找到的是右手，則值為 1，否則值會為 0。
    • BothHandsFound：如果目前已追蹤／找到的是雙手，則值為 1，否則值會為 0。
    • HandDistance：雙手之間的距離（如果雙手都被找到的話）。
  • 手的位置
    • HandLeftPositionX：到中心點的 X 軸距離（左手）。向外值會為 10，在中間值會為 0，向內（向右）值會為 -10。
    • HandLeftPositionY：到中心點的 Y 軸距離（左手）。向上值會為 10，在中間值會為 0，向下值會為 -10。
    • HandLeftPositionZ：到中心點的 Z 軸距離（左手）。靠近攝影機值會為 10，遠離離攝影機值會為 -10。
    • HandRightPositionX：到中心點的 X 軸距離（右手）。向外值會為 10，中間值會為 0，向內（向左）值會為 -10。
    • HandRightPositionY：到中心點的 Y 軸距離（右手）。向上值會為 10，中間值會為 0，向下值會為 -10。
    • HandRightPositionZ：到中心點的 Z 軸距離（右手）。靠近攝影機值會為 10，遠離攝影機值會為 -10。
  • 手的角度
    • HandLeftAngleX：左手的左／右旋轉角度。值會在 +／- 180 之間。
    • HandLeftAngleZ：左手的左／右傾斜角度。值會在 +／- 180 之間。
    • HandRightAngleX：右手的左／右旋轉角度。值會在 +／- 180 之間。
    • HandRightAngleZ：右手的左／右傾斜角度。值會在 +／- 180 之間。
  • 手指（不言而喻，全部的值都會介於 0 和 1 之間，值為 0 時則表示手指蜷曲，值為 1 時則表示手指完全伸直）
    • HandLeftOpen
    • HandRightOpen
    • HandLeftFinger_1_Thumb
    • HandLeftFinger_2_Index
    • HandLeftFinger_3_Middle
    • HandLeftFinger_4_Ring
    • HandLeftFinger_5_Pinky
    • HandRightFinger_1_Thumb
    • HandRightFinger_2_Index
    • HandRightFinger_3_Middle
    • HandRightFinger_4_Ring
    • HandRightFinger_5_Pinky