ARKit Face Tracking - juniverse1103/ARKitStudy GitHub Wiki

ARFaceTrackingConfiguration

TrueDepth 카메라를 사용하여 사용자의 얼굴 움직임 또는 표정을 추적하는 configuration.

---

Overview

Face Tracking Configuration 은 장치의 전면카메라를 사용하여 뷰 내의 사용자의 얼굴을 인식합니다. Configuration이 실행되고 있는 중에, AR 세션은 사용자의 얼굴을 인식하고(전면 카메라 이미지 내에서 보일 경우), 세션 내의 anchor 리스트에 그 얼굴을 나타내는 ARFaceAnchor 객체를 추가합니다. 각각의 face anchor는 얼굴의 위치와 방향에 대한 정보, 얼굴의 위상, 그리고 표정을 나타내는 특징을 제공합니다.

중요

Face tracking은 전면 TrueDepth 카메라를 지원하는 iOS 장치에서만 지원됩니다(iOS Device Compability Reference를 참조하세요). 사용자에게 face tracking을 필요로 하는 기능을 제공하기 전에 ARFaceTrackingConfiguration의 isSupported 프로퍼티를 사용하여 face tracking이 현재 장치에서 사용 가능한지 확인하세요.

ARFaceTrackingConfiguration 클래스는 어떤 메소드나 프로퍼티도 제공하지 않지만, 상위클래스인 ARConfiguration으로부터 상속받은 모든 프로퍼티를 지원합니다. 추가적으로, isLightEstimationEnabled 설정을 허용하면, face tracking configuration은 인식된 얼굴을 라이트 프로브로 사용해 추정된 방향적인, 혹은 환경적인 조명(ARDirectionalLightEstimate 객체)을 제공합니다.

Note

Face tracking은 앱에 개인적인 얼굴 정보를 제공합니다. 만일 ARKit face tracking 기능을 사용한다면, 앱은 반드시 개발자가 어떤 의도로 사용자의 얼굴 데이터와 face tracking기능을 사용할지 명시하는 개인 정보 정책을 포함해야 합니다.

ARFaceAnchor

Face-tracking AR 세션에서 인식된 얼굴의 자세(pose), 위상(topology), 그리고 표정(expression)에 대한 정보입니다.

---

Overview

Face-tracking AR 세션을 실행하여(ARFaceTrackingConfiguration을 보십시오), 전면 카메라를 통해 사용자의 얼굴이 인식되었을 때, 세션은 자동으로 세션의 anchor 리스트에 ARFaceAnchor 객체를 추가합니다. 각각의 face anchor는 얼굴의 현재 위치와 방향(position and orientation), 위상(topology), 그리고 표정(facial expression)에 대한 정보를 제공합니다.

Tracking Face Position and Orientation

상속된 transform 프로퍼티는 world coordinates 내에서의 현재 얼굴의 위치와 방향에 대한 정보를 표현합니다; 이는, 좌표공간 내에서 세션 configuration의 worldAlignment 프로퍼티에 의해 상대적으로 특정됩니다. 이 변환 행렬을 사용하여 AR scene 내의 얼굴에 "부착" 하고 싶은 가상의 컨텐츠를 위치시키세요.

transform

A matrix encoding the position, orientation, and scale of the anchor relative to the world coordinate space of the AR session the anchor is placed in.

Anchor가 놓여진 AR 세션의 world coordinate space 에 상대적으로 anchor의 위치, 방향, 그리고 크기를 인코딩하는 행렬입니다.

var transfrom: simd_float4x4{get}

worldAlignment

A value specifying how the session maps real-world device motion into a 3D scene coordinate system.

실제-세계의 장치 움직임을 3D scene 좌표 시스템 내에 어떻게 맵핑할지 특정하는 값입니다.

var worldAlignment: ARConfiguration.WorldAlignment{get set}

Discussion

AR 경험을 만드는 일은 실제 세계의 위치와 장치의 움직임에 대해 맵핑되는 가상의 3D 공간 내에 좌표계를 구성하고, 물체를 위치시키는 것에 의존합니다. 세션 configuration을 실행할 때, ARKit은 장치의 위치와 방향에 기초한 장면 좌표계를 생성합니다; 개발자가 생성하거나 AR 세션이 인식한 모든 ARAnchor 객체는 그 좌표계에 상대적으로 위치됩니다.

가능한 값을 확인하기 위해서는 ARConfiguration.WorldAlignment를 보십시오.

ARConfiguration.WorldAlignment

ARKit이 실제 세계의 장치 움직임에 기초해서 어떻게 장면 좌표계를 생성하는지에 대한 옵션들입니다.

Declaration

enum WorldAlignment : Int

Alignments

case gravity

• 좌표계의 y축은 중력 방향과 평행합니다, 그리고 중력의 원점은 장치의 초기 위치입니다.

case gravityAndHeading

• 좌표계의 y축은 중력 방향과 평행하며, 좌표계의 x 축과 z 축은 나침반의 머리 방향을 향합니다, 그리고 그 원점은 장치의 초기 위치 입니다.

case camera

• 장면 좌표계는 카메라의 방향과 맞추기 위해서 고정됩니다.

이 변환 행렬은 얼굴에 대해 상대적으로 다른 구성 요소들을 위치시키기 위하여 얼굴 좌표계를 생성합니다.

얼굴 좌표공간의 단위는 미터 단위이며, 원점은 아래에 보여지는 모습과 같이 얼굴 뒷면에 위치합니다.

이 좌표계는 시계방향(right-handed)입니다-양의 x방향이 관찰자의 오른쪽을 가리키며(얼굴의 관점에서는 왼쪽), 양의 y방향은 위를 가리키고(얼굴 자체에 상대적인 기준이며, 세계와는 관계가 없습니다), 양의 z 방향은 얼굴을 뚫고 앞으로 나오는 방향입니다(관찰자를 향해서).

Using Face Topology

geometry 프로퍼티는 일반적인 얼굴 모델을 인식된 얼굴의 치수, 모양, 그리고 현재 얼굴 표정에 일치시키는 것을 확인하는 자세한 위상 정보를 나타내는 ARFaceGeometry 객체를 제공합니다.

geometry

인식된 얼굴의 위상을 나타내는 대강의(coarse) 삼각형 메쉬입니다.

Declaration

var geometry: ARFaceGeometry{get}

Discussion

이 메쉬는 일반적인 얼굴 모델을 인식된 얼굴의 치수, 모양, 그리고 현재 얼굴 표정에 일치시키는 것을 확인하는 꼭지점(vertex), 지표(index), 그리고 얼굴의 3D 모양을 나타내는 텍스처 좌표 버퍼(texture coordinate buffers)를 제공합니다.

이 버퍼들을 선호하는 렌더링 엔진에 넘겨주는 것으로 face geometry를 시각화 할 수 있습니다. 이 face geometry를 시각화 하기 위해서는 SceneKit을 사용하여, ARSCNFaceGeometry 인스턴스를 생성하고, 그것의 update(from: ) 메서드를 사용하여 인식된 face geometry와 일치되도록 업데이트하십시오.

이 모델은 사용자의 얼굴 모양에 따라 컨텐츠를 덮어씌우는 용도의 기준으로 사용될 수 있습니다- 예를들어, 가상 화장 또는 타투를 적용하는 것들이 있습니다.

또한 이 모델을 사용하여 occlusion geometry를 생성할 수 있습니다-어떠한 시각적인 컨텐츠도 렌더하지 않지만(카메라 이미지가 그대로 보여지는 것을 허용하여), 장면 내의 다른 가상 컨텐츠의 카메라의 뷰를 가로막는 3D 모델입니다.

Tracking Facial Expressions

blendShapes 프로퍼티는 현재 얼굴 표정에 대한 높은-레벨의 모델을 제공합니다. 이 모델은 많은 고유한 계수들의 연속을 통해서 나타내어진 특정한 얼굴 모양의 움직임과 중립적인 조정 사이의 상대적인 관계를 통해서 표현됩니다.

이 blend shape 를 사용하여 캐릭터나 아바타와 같은 2D 또는 3D 컨텐츠를 사용자의 얼굴 표정에 따라서 움직이게 할 수 있습니다.

blendShapes

특정한 얼굴 모양의 움직임의 형태로 인식된 얼굴 표정을 나타내는 지명된 계수들의 딕셔너리 입니다.

Declaration

var blendShapes: [ARFaceAnchor.BlendShapeLocation : NSNumber]{get}

Discussion

딕셔너리에 존재하는 각각의 키는(ARFaceAnchor.BlendShapeLocation 상수) ARKit에 의해서 인식되는 많은 특정한 얼굴의 특징들 중 하나를 나타냅니다. 각각의 키에 대응되는 밸류는 그 특징이 중립 상태에 비해 상대적으로 얼마나 움직이는지를 0.0(중립)에서 1.0(최대 움직임) 까지의 플로팅 소수로 나타냅니다.

Blend shape 계수들은 2D 또는 3D 캐릭터가 사용자의 얼굴 표정을 따라 움직이도록 하는 데 사용될 수 있습니다. ARKit은 자세한 얼굴 표정 모델을 위해서 많은 종류의 blend shap coefficients를 제공합니다; 원하는 시각 효과를 생성하기 위해서 많거나 적은 수의 계수를 사용할 수 있습니다.

예를 들어, 오직 jawOpen, eyeBlinkleft, eyeBlinkRight 계수 만을 사용하여 간단한 만화 캐릭터를 움직이게 할 수 있습니다. 전문적인 3D 아티스트는 그보다 더 큰 세트의, 또는 세트 전부를 사용하여 보다 더 실제적인 캐릭터 모델을 만들 수 있습니다.

Blend shape 계수들을 사용하여 특정한 얼굴 표정을 기록하거나 추후에 사용하게 할 수 있습니다. ARFaceGeometry init(blendShapes:) 생성자는 이 프로퍼티의 값에 해당하는 상세한 3D 메쉬를 딕셔너리로부터 생성합니다; blend shape dictionary의 연속된 형태는 그 계수들이 나타내는 얼굴 메쉬보다 좀 더 관리하기 편리합니다.

Note

Blend Shape 계수들의 이름에서 왼쪽과 오른쪽은 얼굴에 상대적입니다. 즉, eyeBlinkingRight 계수는 얼굴의 오른쪽 눈을 뜻합니다. face-tracking 세션이 진행되는 ARKit 뷰는 카메라 이미지를 대칭시키기 때문에, 얼굴의 오른쪽 눈이 뷰의 오른쪽에 나타나게 됩니다.

Topics

---

Using Face Geometry

• var geometry: ARFaceGeometry
  • 인식된 얼굴의 위상을 나타내는 대강의 삼각형 메쉬입니다.
• class ARFaceGeometry
  • Face-tracking AR 세션 내에서 얼굴 위상을 표현하기 위해 사용되는 3D 메쉬입니다.
• class ARSCNFaceGeometry
  • AR 세션에 의해서 제공된 얼굴 정보와 함께 사용하기 위한 얼굴 위상의 SceneKit 표상입니다.

Using Blend Shapes

• var blendShapes: [ARFaceAnchor.BlendShapeLocation: NSNumber]
  • 특정한 얼굴 모양의 움직임의 형태로 인식된 얼굴 표정을 나타내는 지명된 계수들의 딕셔너리 입니다.
• struct ARFaceAnchor.BlendShapeLocatoin
  • 계수를 사용하여 특정 얼굴 모양의 상대적인 움직임을 나타내기 위한 식별자입니다.

Tracking Eye Movement

• var leftEyeTransform: simd_float4x4
  • 얼굴의 왼쪽 눈의 위치와 방향을 나타내기 위한 변환 행렬입니다.
• var rightEyeTransform: simd_float4x4
  • 얼굴의 오른쪽 눈의 위치와 방향을 나타내기 위한 변환 행렬입니다.
• var lookAtPoint: simd_float3
  • 얼굴이 바라보고 있는 방향을 추정하기 위한 얼굴 내의 공간좌표 벡터입니다.