PCA를 위한 수학적 개념

1차원 근사

N=3 point 예제

1) 2차원 평면 위에 3개의 2차원 벡터 a1,a2,a3 (N=3) 존재. 2) 원점을 지나면서 3개의 point와 가장 가까이 있는 직선을 만듦. Q) 직선의 방향을 나타내는 단위벡터 w는?

• 벡터 w와 점 a_i의 거리의 제곱
  • 
• 벡터 a1, a2, a3를 행벡터로 가지는 행렬 A
  • 
• 행벡터 놈의 제곱합 == 행렬의 놈 제곱
  • 
• A 행렬은 고정이므로 거리 최소화를 위해선 다음과 같이 문제 변형
  • 
• A 행렬 특이분해
  • 
  • 
  • 
  • 
• |Aw|의 계산
  • 
  • 
  • 
• Solution
  • 
  • 
  • 
  • 
  • 최소 거리 제곱의 합
    • 

N 일반화

• |Aw|의 계산
  • 
• 분산행렬의 고유분해
  • 
    • M은 특잇값 개수
• 문제 정의
  • 
    • w를 고유벡터 v1으로 하는 경우가 가장 큰 값을 가짐

랭크-1 근사 문제(rank-1 approximation problem)

• a_i를 w에 투영한 벡터
  • 
    • N개의 M차원 벡터 a_i를 w vector space에 투영하여 N개의 1차원(w vector space 관점) 벡터를 만들 수 있음
• 랭크-1 근사 행렬
  • 
• w 벡터를 구하기 위한 문제 정의
  • 

K차원 근사

• 설명
  • 
  • 
  • 
  • 
• 기저벡터행렬 W
  • 
• W vector space에 투영
  • 
• 행렬 A 정의
  • 
• 모든 점들과의 거리 제곱합
  • 
• 거리 제곱합 최소화 문제 재정의
  • 
• 분산행렬의 고유분해
  • 
• Solution
  • 가장 큰 K개의 특잇값에 대응하는 오른쪽 특이벡터가 기저벡터일 때 가장 값이 커진다
  • 가장 큰 특잇값 sigma1에 K개를 모두 대응하지 못하는 이유 -> 기저벡터이므로 선형독립성을 유지해야 함.

랭크-K 근사 문제(rank-1 approximation problem)

• 목표
  • 위의 값을 가장 크게하는 K개의 0벡터가 아닌 직교하는 단위벡터 w_k를 찾는 것
• W vector space 투영벡터
  • 
• 투영벡터를 활용한 랭크-K 근사행렬
  • 
• w vector를 구하기 위한 문제 정의
  • 

PCA

Concept 설명

• PCA(Principal Component Analysis)는 주성분 분석이라고 하며 고차원 데이터 집합을 차원축소(dimension reduction)하여 더 낮은 차원의 데이터 집합으로 만드는 작업이며, 이는 복잡한 데이터를 핵심 원인 몇 가지로 설명할 수 있다는 뜻으로 해석된다.

• N개의 Feature가 있을 경우 N개의 상호작용 효과(결합효과)가 있는 경우는 조합된 Feature가 필요하다는 의미가 된다. 과최적화가 아닌 경우를 제외하고는 이런 조합된 Feature는 데이터의 기저에 숨어있지만 측정 값을 결정짓는 **잠재변수(latent variable)**이라고 한다.

• PCA는 잠재변수와 측정 값이 선형적인 관계로 연결되어 잇다고 가정한다.

  • 잠재변수가 아닌 기존 데이터 변수와 선형적인 관계로 연결되어 있다고 가정하진 않음에 주의
  • 수학적 표현 (u_i : 잠재변수, x_i가 표본)
    • 
    • 

• PCA의 차원 축소 == 로우-랭크 근사문제(low-rank approximation)

  • 문제를 쉽게 풀기 위한 제한 조건이 있는 경우 (원점 지나는 Case)
    • 
  • 원점 지나지 않는 경우도 포함한 Case
    • 
  • Solution
    • 

수학적 설명

• 표본
  • 
    • x vector = M x 1
• 변환 행렬
  • 
    • 표본을 K(<M)차원으로 축소하면서 최대한 정보를 유지
• 각 열벡터 x에 대한 표현
  • 
• 모든 열벡터 x에 대한 행렬을 사용한 표현
  • 
    • X 행렬은 x_i를 행으로 가지는 행렬, X^ 행렬은 x^_i를 행으로 가지는 행렬
• 역변환 행렬
  • 
  • 
  • 
• 역변환 행렬 가정하고 문제 재정의
  • 
• 목적함수 최소화 조건 찾기
  • 
  • 
  • 
  • 
  • 
  • 
    • 이론적으로는 온전한 Identity 행렬이나 실제 데이터 상에선 그렇지 않음
• 문제 재정의
  • 
  • 
    • X는 known이므로 최적화 기법을 활용해서 Minimize 하는 W를 찾으면 된다.