Point Cloud의 정의 및 특징

• 3차원 공간상에 퍼져 있는 여러 포인트(Point)의 집합(set cloud)를 의미한다.
• 2D 이미지와 다르게 깊이(z축) 정보를 가지고 있기 때문에, 기본적으로 N X 3 Numpy 배열로 표현된다.
• 각 N 줄은 하나의 점과 맵핑이 되며, 3(x,y,z) 정보를 가지고 있다.

• 데이터를 수집하는 주요 방법 : LiDAR(Light Detection And Ranging)를 사용한다.

Point Cloud Data의 성질

1. 정렬되어 있지 않고 정형화되어 있지 않은 데이터
   • 2D 이미지 데이터의 경우 정해진 격자 구조의 형태 안에 정보가 저장되지만, Point Cloud 데이터는 3D 공간 상의 수많은 점들을 순서 없이 기록하는 방식으로 데이터가 저장된다.
   • Point Cloud 데이터를 Voxel 형태의 정형화된 데이터로 전처리하는 방법이 존재하지만 한계가 있다.
2. Sparse한 성질을 지닌 Point cloud 데이터
   • 주어진 데이터의 3D 공간 안에는 Point들에 비해 빈공간이 상당히 많다 -> 데이터의 크기에 비해 얻을 수 있는 유의미한 정보가 거의 없다.

Point Cloud 데이터를 다루는 3D 인공지능 모델

PointNet(2017)

입력 포인트의 순서에 무관하게 고정 크기의 표현을 생성할 수 있다.

PointNet++(2017)

지역적인 구조를 더 효과적으로 캡처하기 위한 계층적인 접근 방식 여러 크기의 이웃을 고려하여 다양한 규모에서 특징을 추출

VoxelNet(2017)

포인트 클라우드를 3D Voxels로 나누고, 각 복셀 내의 포인트들을 고정 크기의 특징 벡터로 인코딩한다. 주로 자율 주행 분야에서 객체 탐지에 사용

Dynamic Graph CNN (DGCNN) (2018)

DGCNN은 가장 가까운 이웃을 기반으로 동적으로 그래프를 구성하여 포인트 클라우드 데이터에서 특징을 추출한다. 이 동적 그래프 구조를 통해 CNN과 유사한 연산을 수행한다.

PointCNN(2018)

포인트 클라우드 데이터를 처리하기 위해 CNN 연산을 적용하기 전에 입력 데이터를 균일한 그리드 형태로 변환한다. X-conv 연산을 도입하여 공간적 순서를 갖는 데이터로 변환하고, 이후에 일반 CNN 연산을 적용한다.

PointTransformer(2020)

Transformer 아키텍처의 개념을 포인트 클라우드 데이터에 적용한다. self attention mechanism을 활용하여 포인트 간의 관계를 모델링한다.

Point Cloud Registration

• 두 Point Cloud를 정렬하는 공간 변환을 찾는 과정
• Scan matching을 하거나 Scan registration을 진행할 때 동일한 reference frame에서 보면 각각의 Map point들이 일치해야 정확한 주위 환경을 Mapping 할 수 있다.

Point Cloud Registration을 통해 가장 정렬을 잘하는 Rotation Matrix R과 Translation Vector t를 찾는 것이 핵심!

1. 두 Point Cloud의 대응 관계를 알 때 (Known Data Association)
2. 두 Point Cloud의 대응 관계를 모를 때(Unknown Data Association)
3. Robust한 Least Squares Approaches를 이용하는 방법

Initial registration

정밀한 정합을 위한 중요한 선행 작업으로, 보다 정밀한 정렬 기술을 적용하기 전에 여러 포인트 클라우드 조각 간의 대략적인 정렬을 확립하는 것을 목표로 하며, SLAM, 장면 재구성, 산업 디자인과 같은 다양한 응용 분야에서 전반적인 등록 정확도와 견고성을 크게 향상시킨다.

Refine registration

initial registration 이후에 accuracy를 높이기 위해 정렬 결과를 fine-tunning하는 과정

ICP

두 point cloud 사이의 대응 관계가 주어져 있지 않을 때 Point들을 Registration하는 방법 optimal solution이 존재하지 않기 때문에 pointcloud의 관계를 잘 estimation하는 것이 중요하다.