Passthrough API - 2024-Adoor/practice GitHub Wiki

관련 공식 문서 링크:

• Passthrough API Overview
• Get Started with Passthrough

🔗 이 부분은 Configure Unity Project을 바탕으로 합니다.

1. OVRCameraRig의 인스펙터에서...

   1. OVRManager 컴포넌트 > Quest Features > General > Passthroguh Support에서 Required 또는 Supported 선택
      
   2. Insight Passthrough에서 Enable Passthrough 활성화
      (나중에 C# 스크립트를 통해 패스스루를 initialize하려면 OVRManager.isInsightPassthroughEnabled를 이용 가능)
      
   3. 컴포넌트 추가 > OVRPassthroughLayer 스크립트를 추가
   4. OVRPassthroughLayer에서 Projection Surface 설정을 선택하여 패스스루 렌더링이 자동 환경 Depth 재구성Reconsturcted을 사용할지, 아니면 사용자 정의 표면User Defiend을 사용할지 정합니다. (무슨말?)

2. 다음에 수행할 작업은 원하는 패스스루 유형에 따라 다릅니다.

   가상 콘텐츠 위에 패스스루를 그리려면 Placement를 Overlay로, 아래에 그리려면 Underlay로 설정. (즉 배경이 패스스루인건 언더레이, VR에서 창문으로 현실이 보이는거 같은 것은 오버레이) 여러 레이어가 있는 경우 Composition Depth 설정을 사용하여 레이어 간의 순서를 정의한다. Composition Depth가 작은 레이어는 우선 순위가 더 높으며 값이 더 큰 레이어보다 앞에 나타난다.
   

패스스루를 더 많이 실험하려면 먼저 기본적인 Basic Passthrough Tutorial 또는 Basic Passthrough Tutorial with Building Blocks를 수행하세요. 그런 다음 이 문서 내의 패스스루 샘플을 확인할 수 있습니다. 고급 쇼케이스 프로젝트를 보려면 GitHub 리포지토리를 참조하세요. Unity-Discover 및 Unity-TheWorldBeyord 프로젝트는 모두 Passthrough를 사용합니다.

당신은 사용자의 선택에 따라 VR 또는 패스스루 배경을 표시하도록 하고 싶을 수 있습니다. 우리 시스템은 이미 집 환경에서 사용자에게 이러한 선택권을 제공하고 있으며, 귀하의 앱은 사용자의 집 환경 선호 설정을 활용할 수 있습니다. 보다 일반적으로 말하자면, 우리 시스템은 사용자 선호도에 따라 앱이 기본적으로 MR 또는 VR을 사용하도록 권장합니다. 이 권장 사항은 OVRManager.IsPassthroughRecommended()를 사용하여 사용할 수 있습니다. 사용 예:

// 아무 MonoBehavior에 이 코드를 추가하세요.
void Start()
{
  if (OVRManager.IsPassthroughRecommended())
  {
     passthroughLayer.enabled = true;

     // 카메라의 배경을 투명하게 합니다
     OVRCameraRig ovrCameraRig = GameObject.Find("OVRCameraRig").GetComponent<OVRCameraRig>();
     var centerCamera = ovrCameraRig.centerEyeAnchor.GetComponent<Camera>();
     centerCamera.clearFlags = CameraClearFlags.SolidColor;
     centerCamera.backgroundColor = Color.clear;

     // VR 배경 요소가 비활성화되어 있는지 확인하세요
  }
  else
  {
     passthroughLayer.enabled = false;

     // VR 배경 요소가 활성화되어 있는지 확인하세요
  }
}

• OVRManager.IsPassthroughRecommended() - 사용자가 패스스루를 선호하는지 확인하는 함수로 보인다.
  • 개발 환경에서는 항상 false를 반환하는 것 같다.
• passthroughLayer.enabled - 패스스루를 (비/)활성화 하는 것 같은데 아직 자세힌 모르겠음.
  • 생각해보니 passthroughLayer 는 그냥 컴포넌트 OVRPassthroughLayer의 인스턴스 변수명이고 enabled는 유니티엔진 오브젝트에서 상속된걸 테니 뭔가 특별한 기능은 아님. OVRPassthroughLayer 컴포넌트를 비활성화한다 = 패스스루를 끈다?
• 유니티 카메라의 backgroundcolor를 clear로 하면 뒤에 패스스루가 나타나는 것 같다.
  • 어떤 영상에서는 VR 위에 Passthrough Window을 만드는데 이걸 안 하는것 같다. 생각해보니 이게 조건이면 그냥 유니티 세계를 못 보여주는거려나?
• VR 배경 요소란 무엇을 의미하는가? ...centerCamera.backgroundColor에 다른 게임처럼 뭐라도 설정되어 있으면 그만인 건가?

🔗 이 부분은 Color Mapping Techniques을 바탕으로 합니다.

OVRPassgthroughLayer 컴포넌트는 패스스루의 시각적 스타일을 사용자 정의하기 위한 여러 옵션을 제공합니다.

• Opacity: 패스스루 이미지의 투명성을 설정합니다.
• Edge Rendering: 엣지 렌더링 필터를 적용합니다.
• Color Contro: 패스스루 이미지의 색상 재현을 조정합니다. 이 기능을 사용하면 다음 섹션에서 설명하는 다양한 스타일 지정이 가능합니다.

컴포넌트 말고 스크립트로도 가능하다.

• OVRPassthroughLayer.textureOpacity
• OVRPassthroughLayer.edgeRenderingEnabled
• OVRPassthroughLayer.edgeColor

색상 제어 기능은 각 입력 색상을 다른 출력 색상에 매핑하는 다양한 기술을 제공합니다. 다음 옵션을 사용할 수 있습니다.

• None: 패스스루 이미지를 변경하지 않고 표시합니다.
• Color Adjustment: 이미지의 밝기, 대비 및 채도를 조정합니다. 채도 조정은 컬러 패스스루를 지원하는 장치에만 영향을 미칩니다.
• Grayscale: 밝기와 대비를 조정하고 그레이스케일 통과 이미지에 포스터화 효과를 적용합니다. 이 옵션을 선택하면 컬러 패스스루 이미지가 먼저 회색조로 변환됩니다.
• Grayscale To Color: 그레이스케일 패스스루 이미지에 색상을 지정하고, 밝기와 대비를 조정하고, 포스터화 효과를 적용합니다. 이 옵션을 선택하면 컬러 패스스루 이미지가 먼저 회색조로 변환됩니다.
• Color LUT: 각 RGB 입력 색상을 패스스루 이미지 스트림의 임의 RGB(A)에 매핑하는 look-up table(LUT)을 적용합니다.
• Blended Color LUTs: 두 컬러 LUT 간의 블렌드를 패스스루 이미지 스트림에 적용합니다. 이 옵션을 사용하면 두 색상 LUT 간을 원활하게 전환할 수 있습니다.

또한 스크립트로:

• OVRPassthroughLayer.SetColorMap
• OVRPassthroughLayer.SetColorMapMonochromatic
• OVRPassthroughLayer.SetColorMapControls
• OVRPassthroughLayer.SetBrightnessContrastSaturation
• OVRPassthroughLayer.SetColorLut
• OVRPassthroughLayer.DisableColorMap

https://github.com/2024-Adoor/practice/blob/7b5ecf6a2f1b0806e405158d9815f3b558a1d065/Assets/Scripts/PTTransition.cs#L43-L48

• https://blog.csdn.net/qq_46044366/article/details/132430180
  중국 사람이 쓴 튜토리얼인데 번역기 돌려서 이어서 보면 나름 볼만합니다.

Passthrough Window Tutorial에는 과정 중에 이게 나오고, 다른 예제에서도 Awake()에서 이걸 쓰는 게 보이지만 무슨 용도인지 모르겠다.

https://blog.csdn.net/qq_46044366/article/details/132430180 이 중국 튜토리얼 글에서는 이게 선명하게 보여주는 용도라고 한다는데...

EnableUnpremultipliedAlpha.cs에 있는 주석

Since the alpha values for Selective Passthrough are written to the framebuffers after the color pass, we need to ensure that the color values get multiplied by the alpha value during compositing. By default, this is not the case, as framebuffers typically contain premultiplied color values. This step is only needed when Selective Passthrough is non-binary (i.e. alpha values are neither 0 nor 1), and it doesn't work if the framebuffer contains semi-transparent pixels even without Selective Passthrough, as those will have premultiplied colors.