챕터 8: Face Recognition (얼굴 인식)

---

1. Face Recognition이란?

• 정의: 이미지(또는 비디오) 내 “얼굴이 누구의 것인지” 자동으로 인식하는 기술

  • Identification(1:N): 여러 명 중 누구인지 식별
  • Verification(1:1): 주어진 신원(아이디)과 입력 얼굴이 일치하는지 확인

• 적용 분야: 출입 통제, 신분 확인, 스마트폰 언락, 수배자 탐지, 자동 출석 등

---

2. Face Recognition의 도전과제

• 변화 요인(실전 난이도):

  • Pose(포즈 변화): 정면, 측면, 위/아래 등 다양한 각도
  • 조명 변화, 그림자, 밝기
  • Expression(표정 변화)
  • Occlusion(가림): 머리카락, 마스크, 안경, 손 등
  • Aging(노화), Make-up, 성별/인종 등
  • 해상도, 센서 종류, 배경 복잡도 등

• 실제 시험에서는 이런 변수가 인식에 어떻게 영향을 주는지, 어떤 방법이 Robust한지 논술로 자주 출제

---

3. 대표적 Face Recognition 알고리즘

(1) PCA (Principal Component Analysis) / Eigenface

• 핵심 원리:

  • 이미지 전체를 1차원 벡터로 변환
  • 공분산 행렬의 고유벡터(Eigenvector) 계산 → “얼굴 공간(face space)” 생성
  • 각 얼굴 이미지를 “Eigenface”로 표현(주성분에 투영)
  • 차원 축소와 잡음 제거에 유리

• 수식:

  • 데이터 행렬 $X$, 평균 벡터 $\mu$
  • 공분산 행렬 $S = \frac{1}{N} \sum_{i=1}^N (x_i - \mu)(x_i - \mu)^T$
  • $S$의 고유벡터 추출 → Eigenface

• 한계: 포즈/조명 변화에 약함, 클래스 구분력 한계

---

(2) LDA (Linear Discriminant Analysis) / Fisherface

• 핵심 원리:

  • 각 클래스(사람)별로 평균 벡터와 전체 평균 계산
  • Within-class scatter와 Between-class scatter 개념 도입
  • 클래스 간 분산 최대화, 클래스 내 분산 최소화하는 투영축 결정
  • PCA보다 “구분 능력”이 뛰어남(특히 사람 수 많을 때)

• 수식:

  • Within-class scatter: $S_W = \sum_{c=1}^C \sum_{x \in X_c} (x - \mu_c)(x - \mu_c)^T$
  • Between-class scatter: $S_B = \sum_{c=1}^C n_c (\mu_c - \mu)(\mu_c - \mu)^T$
  • $S_W^{-1} S_B$의 고유벡터로 분류

• 한계: 클래스별 샘플 수 적으면 효과 저하, 잡음에 다소 약함

---

(3) AAM(Active Appearance Model), Morphable Model

• AAM: 얼굴의 shape(형태)와 appearance(텍스처) 동시 모델링, 표정/포즈 변화 강인
• Morphable Model: 3D 기반 얼굴 모델을 만들어 포즈/조명 변화에도 대응

---

4. 실제 인식 시스템/평가

• 실험 데이터셋:

  • 경찰서 머그샷, 웹캠, 고해상도 사진, 실생활 이미지 등 다양
  • 데이터셋의 종류와 품질이 인식 성능에 큰 영향

• 벤치마크/경진대회:

  • 1997년 이후 Face Recognition Vendor Test(FRVT), Multi-biometric Evaluation(MBE) 등
  • 딥러닝 이전(2010년대 초반까지) 성능은 제한적, 이후 CNN 기반으로 성능 급상승

---

5. 평가 지표 및 그래프

• ROC(Receiver Operating Characteristic) Curve:

  • x축: False Accept Rate (FAR), y축: True Accept Rate (TAR)

• DET(Detection Error Tradeoff) Curve:

  • x축: False Reject Rate, y축: False Accept Rate
  • Operating Point(임계값 선택): 실제 시스템 성능은 threshold 결정에 좌우

---

6. 최근 트렌드/실무적 쟁점

• 2012~13년 AlexNet 등 딥러닝 도입 이후, FaceNet, VGGFace 등 CNN 기반 모델이 압도적 성능 기록
• Multi-biometric: 얼굴+홍채+지문 조합해 성능 극대화
• 모바일/실시간 인식, 대규모 인물 DB에서의 빠른 매칭 등

---

7. 시험에 자주 나오는 세부 포인트

• PCA와 LDA 차이/장단점, 수식, 활용법(논술형/단답형)
• Identification vs Verification의 의미/차이
• Within-class, Between-class scatter 정의와 계산
• ROC/DET Curve 해석, Operating Point 의미
• 실제 데이터셋 종류, 벤치마크/경진대회 사례(연도, 특징)
• 포즈/조명/가림/에이징 등 현실적 문제에 강인한 모델 설명
• 딥러닝 이전/이후 대표 알고리즘·트렌드

---

[암기/메모용 키워드]

• Face Recognition = “얼굴의 신원 파악”
• Identification(1:N), Verification(1:1)
• PCA, LDA, Eigenface, Fisherface, AAM, Morphable Model
• Within-class, Between-class scatter, 차원 축소, 고유벡터
• ROC, DET Curve, Operating Point, FAR, TAR
• 데이터셋 종류(머그샷, 웹캠 등)
• 딥러닝 도입 전후 변화