ARKit

Overview

• ARWorldTrackingConfiguration 를 사용하여 현실 세계를 반영한 ARKit map 을 제공하여 가상의 콘텐츠를 배치할 수 있도록 합니다.
• 실제 조명 환경에 대응하는 개체와 이미지 인식이 가능합니다.
• iPhoneX 에서 ARFaceTrackingConfiguration은 전면 카메라와 TrueDepth 카메라를 사용하여 사용자의 얼굴에 대한 실시간 정보를 가져옵니다.
• 카메라 뷰를 생략하고, 얼굴 표현 정보를 가져와 활용할 수 있습니다. (ARSession 참고)
• 기본적으로 world coordinate 공간에서 ARKit은 항상 오른손 좌표계를 사용합니다.

---

Index

• ARConfiguration
  • ARWorldTrackingConfiguration
  • AROrientationTrackingConfiguration
  • ARImageTrackingConfiguration
  • ARFaceTrackingConfiguration
  • ARObjectScanningConfiguration
• ARSession
• ARSessionDelegate
• ARSessionObserver
• ARAnchor
• ARFaceAnchor
• ARHitTestResult
• ARTrackable
• transForm

---

ARConfiguration

Overview

• iOS 11.0 +

• ARSession 구성의 추상 기본 클래스입니다.

• worldAlignment : session 과 real-world의 디바이스의 동작을 scene좌표계에 매핑하는 방식입니다.

  • gravity

    world를 중력에 맞춰 정렬합니다. (0, -1, 0)

    원점은 device의 초기 위치로 지정된다.

  • gravityAndHeading

    world를 중력에 맞춰 정렬합니다.(0, -1, 0)

    그리고 북쪽 (정북) 방향을 정의합니다. (0, 0, -1)

    Location Service이 사용가능해야 한다.

    원점은 device의 초기 위치로 지정된다.

  • camera

    world를 카메라의 방향에 정렬합니다.

    좌표계는 카메라의 위치에 고정된다.

• isLightEstimationEnabled : light estimation 실행 여부를 결정합니다.

ARWorldTrackingConfiguration

• iOS 11.0 +
• 후면 카메라를 사용합니다.
• device의 방향과 위치, 실제 세상의 표면, 알려진 이미지와 물체 등을 감지합니다.

AROrientationTrackingConfiguration

• iOS 11.0 +
• 후면 카메라를 사용합니다.
• 디바이스의 방향을 추적하는데 사용됩니다.

ARImageTrackingConfiguration

• iOS 12.0 + (beta)
• 후면 카메를 사용합니다.
• running image를 추적하는데 사용됩니다.
• 6방향의 각도를 제공합니다.
• ARWorldTrackingConfiguration 또한 이미지 추적이 가능하지만, ARImageTrackingConfiguration은 이미지만 추적하기에 성능이 더 좋습니다.

ARFaceTrackingConfiguration

• iOS 11.0 +

• 전면 카메라를 사용합니다.

• FaceTracking은 TrueDepth 카메라가 있는 iOS장치에서만 사용 가능합니다. (호환성 참조)

• isSupported 프로퍼티를 사용해 현재 디바이스에서 사용가능한지 여부를 알 수있습니다.

• 따로 메소드나 속성을 제공하지는 않습니다,.

• 인식된 얼굴은 session에 ARFaceAnchor 객체로 추가됩니다.

• lightEstimaion 이 활성화 되면 인식된 얼굴은 light probe 로 취급되고 incoming light 의 방향을 계산하는데 사용됩니다.

  이는 사용자의 얼굴 위에 오버레이 그래픽을 랜더링 할 때 해당 그래픽을 카메라가 캡쳐한 조명 조건을 맞춰 렌더링 해줍니다.

• 얼굴 인식 및 얼굴 데이터 사용 방법을 사용자에게 설명하는 개인 정보 취급 방침이 포함되어야 합니다.

ARObjectScanningConfiguration

• iOS 12.0 + (beta)
• 후면 카메라를 사용합니다.
• world에 있는 object를 스캔하는데 사용합니다.
• session에서 createReferenceObject 메소드를 호출하여 object를 스캔합니다
• 개발 과정에서만 사용을 권장. 높은 성능과 에너지를 소모라며, object 스캐닝에 필요하지 않은 ARKit 기능을 비황성화 시킵니다.
• 최종사용자에게 AR환경을 제공하려면 ARWorldTrackingConfiguration 사용을 권장합니다.

---

ARSession

Overview

• iOS 11.0+
• ARSession 객체는 증강현실을 구현하기 위해 ARKit이 수행하는 주요 프로세스를 조정한합니다.
• 디바이스의 모션감지(HW 센서), 내장 카메라 컨트롤, 카메라에서 캡쳐된 이미지분석 등의 작업을 수행합니다. 이 정보들을 종합하여 AR content를 모델링하는 가상공간과 real-world 을 일치시킵니다.
• 단일 ARSession객체를 사합니다.
• ARSCNView 나 ARSKView 를 사용하면 쉽게 AR환경을 구성할 수 있다.View객체에는 ARSession 인스턴스가 포함되어있습니다.
• 직접 렌더러를 구현한다면 ARSession객체를 직접 인스턴스화 하고 유지관리 해야합니다.
• 세션 실행에는 ARConfiguration 이 필요하고, 이는 real-world에 디바이스의 상대정인 위치를 결정하는 방식을 정해줍니다.

Session 구성과 실행

• 실행

  • configuration : 세션의 동작과 scene 추적 동작을 정의하는 인스턴스 입니다.
  • option : configuration이 바뀔때 ARSession의 현재 상태를 어떻게 바꿀지 정의해줍니다.

• func run(ARConfiguration, optionds: ARSession.RunOptions = [])
  

• 일시중지

• func pause()
  

• Responding and Update

  • delegate : ARSessionDelegate

---

ARSessionDelegate

Overview

• ARSessionObserver 프로토콜을 확장합니다.
• 캡쳐된 비디오 프레임 이미지와 ARSession에서의 트래킹 상태를 수신합니다.
• ARSessionDelegate, ARSCNViewDelegate, ARSKViewDelegate protocol에 공통적으로 메소드를 정의합니다.
• Session에서 캡쳐된 ARFrame 객제로 작업을 하거나 ARAcnhor 객체들에 대한 변경사항을 수행해야 하는 경우 이 프로토콜을 구현하여 사용합니다.

Method Signature

• Receiving Camera Frames

• func session(ARSession, didUpdate: ARFrame)
  

• Handling Contents Updates

• func session(ARSession, didAdd: [ARAnchor])
  // 1개또는 그이상의 anchor가 session에 추가되는 이벤트 감지해 delegate에 알림
  
  func session(ARSession, didUpdate: [ARAnchor])
  // session에 속한 1개또는 그이상의 anchor가 업데이트되는 이벤트 감지해 delegate에 알림
  
  func session(ARSession, didRemove: [ARAnchor])
  // 1개또는 그이상의 anchor가 sesssion에서 제거되는 이벤트 감지해 delegate에 알림
  

---

ARSessionObserver

Overview

• ARSession의 상태변화에 대응하기 위해 구현하는 메소드입니다.

Method Signature

• Responding to Tracking Quality Changes

• func session(ARSession, cameraDidChangeTrackingState: ARCamera)
  // FaceAnchor 감지 등 객체 추적 상태 변화감지
  

• Handling Interruptions

• func sessionWasInterrupted(ARSession)
  // session에 발생한 인터럽트를 감지해 delegate에 알림
  
  func sessionInterruptionEnded(ARSession)
  // session의 resume을 감지해 delegate에 알림
  
  func sessionShouldAttemptRelocalization(ARSession) -> Bool
  // 인터럽트 이후 world-tracking 상태복구 여부를 delegate에게 물어봄
  

• Receiving Audio Data

• func session(ARSession, didOutputAudioSampleBuffer: CMSampleBuffer)
  // 새로운 audio sample buffer 가 사용가능해졌음을 delegate에 알림
  // 공간상의 특정 위치에 오디오가 배치된 상황에서, 해당 사운드가 들어오게 되는 상태를 감지하는 것으로 보입니다.
  

• Handling Session Failure

• func session(ARSession, didFailWithError: Error)
  // session의 실행의 실패를 delegate에 알림
  

---

ARSCNViewDelegate

Overview

• ARSession 에서 SceneKit 컨텐츠의 동기화를 중계하기 위해 구현하는 메소드입니다.

Method Signature

• Handling Contents Updates

• func renderer(SCNSceneRenderer, nodeFor: ARAnchor) -> SCNNode?
  //Asks the delegate to provide a SceneKit node corresponding to a newly added anchor.
  
  func renderer(SCNSceneRenderer, didAdd: SCNNode, for: ARAnchor)
  //Tells the delegate that a SceneKit node corresponding to a new AR anchor has been added to the scene.
  
  func renderer(SCNSceneRenderer, willUpdate: SCNNode, for: ARAnchor)
  //Tells the delegate that a SceneKit node's properties will be updated to match the current state of its corresponding anchor.
  
  func renderer(SCNSceneRenderer, didUpdate: SCNNode, for: ARAnchor)
  //Tells the delegate that a SceneKit node's properties have been updated to match the current state of its corresponding anchor.
  
  func renderer(SCNSceneRenderer, didRemove: SCNNode, for: ARAnchor)
  //Tells the delegate that the SceneKit node corresponding to a removed AR anchor has been removed from the scene.
  

---

ARSSKViewDelegate

Overview

• ARSession 에서 SpriteKit 컨텐츠의 동기화를 중계하기 위해 구현하는 메소드입니다.

Method Signature

• Handling Contents Updates

• func view(ARSKView, nodeFor: ARAnchor) -> SKNode?
  //Asks the delegate to provide a SpriteKit node corresponding to a newly added anchor.
  
  func view(ARSKView, didAdd: SKNode, for: ARAnchor)
  //Tells the delegate that a SpriteKit node corresponding to a new AR anchor has been added to the scene.
  
  func view(ARSKView, willUpdate: SKNode, for: ARAnchor)
  //Tells the delegate that a SpriteKit node's properties will be updated to match the current state of its corresponding anchor.
  
  func view(ARSKView, didUpdate: SKNode, for: ARAnchor)
  //Tells the delegate that a SpriteKit node's properties have been updated to match the current state of its corresponding anchor.
  
  func view(ARSKView, didRemove: SKNode, for: ARAnchor)
  //Tells the delegate that the SpriteKit node corresponding to an AR anchor has been removed from the scene.
  

---

ARAnchor

Overview

• iOS 11.0 +
• AR scene에 배치 가능한 real-world의 위치화 방향입니다.
• ARAnchor는 특정 프레임에서 Anchor의 현재 상태를 나타내는 immutable 한 객체입니다.

---

ARFaceAnchor

Overview

• iOS 11.0+
• pose, topology, expression of face 에 대한 정보를 가지고있습니다.
• face-tracking AR session은 실행하면 전면 카메라에서 인식된 사용자의 ARFaceAnchor들을 추가합니다.
• 각각의 FaceAnchor 들은 얼굴의 현재 위치, 방향, topology(망구성방식), 표정 정보를 가지고있습니다.

얼굴의 위치와 방향

• 상속된 transform 프로퍼티는 world coordinate 에서의 얼굴의 현재 위치와 방향을 나타냅니다. 이는 ARConfiguration 의 worldAlignment 에 맞워 지정됩니다.
• 이 transform 매트릭스는 다른 요소들이 얼굴의 위치에 따라 상대적인 위치에 존재하게 되는 얼굴 좌표계를 만들어줍니다.

Topology

• ARFaceGeomerty 오브젝트인 geometry 프로퍼티는 얼굴의 자세한 topology에 대한 정보를 가지고 있습니다.

Face Expression

• blendShapes 프로퍼티는 현재 표정의 표현에 대한 모델을 제공합니다.

Properties (eyeTransform, lookAtPoint)

• rightEyeTransform / leftEyeTransform
  • iOS 12.0 + (beta)
  • 얼굴의 오른쪽/왼쪽 눈의 위치와 방향을 나타내는 변환행렬입니다.
  • 앵커의 변형에 의해 변환되는 상대적인 안구의 위치를 나타냅니다. (FaceAnchor에 종속적)
  • z축의 + 방향은 안구의 방향을 나타냅니다.
  • 행렬의 회전각은 x축(위아래)과 y축(좌우)을 중심으로 회전하며, z축을 중심으로는 회전하지 않습니다.
• lookAtPoint
  • iOS 12.0 + (beta)
  • 얼굴좌표계에서 FaceAnchor가 바라보는 방향의 추정치입니다.
  • 이 벡터는 rightEyeTransform과 leftEyeTransform 행렬에서 추상화되어 얼굴을 기준으로 사용자의 눈이 어느곳을 바라보는지 추정합니다.
  • 사용자의 왼쪽이 x+ 입니다.
  • 사용자의 눈이 가까운 물체에 초점을 맞추면 벡터의 길이가 짧아집니다. (먼 물체에 초점을 맞추면 길어집니다.)

---

ARHitTestResult

Overview

• iOS 11.0 +

• ARSession 의 device camera view의 점을 계산하여 real-world의 표면 정보를 알수있습니다.

---

ARTrackable

Overview

---

transform

Overview

• iOS 11.0+
• simd_float4x4 타입의 4x4 행렬입니다.
• Anchor가 속한 ARSession의 world coordinate에 대한 위치, 방향 그리고 scale정보를 가집니다.

---

FaceTracking 관련 알게된 것들

• ARFaceTrackingConfiguration 을 활용하여 얼굴을 추적할 때, device의 위치가 0,0,0 이 됩니다.
• 안구의 위치는 얼굴 노드 (FaceAnchor) 에 종속되고, 사람마다 그 위치는 다른 듯 합니다.
• 얼굴의 이동에 따라 안구의 위치, 각도도 변화하는데 이에대한 변환 비율을 찾아야 합니다.

top