Anomaly Detection - yarak001/machine_learning_common GitHub Wiki

이상치 탐지

• Novelty vs. Anomaly vs. Outlier
  • Novelty: data의 본질적인 특성은 같지만 유형이 다른 관측치, 긍정적 의미, 분석시 detection의 대상 e.g. 일반 호랑이가 정상 data라고 할때 백호
  • Anomaly: 대부분의 data와 특성이 다른 관측치, 부정적 의미, 분석시 detection의 대상 e.g. 일반 호랑이가 정상 data라고 할때 라이거
  • Outlier: 대부분의 data와 본질적인 특성이 다른 관측치, 부정적 의미, 분석시 detection후 제거해야할 대상 e.g. 일반 호랑이가 정상 data라고 할때 사자 => 분석에 부정적인 영향을 미침
  • 부정적 의미 : Novelty < Anomaly < Outlier
  • 이상치탐지 = Novelty = Anomaly = Outlier
• 이상치 탐지 algorithm
  • 활용 data는 일반적으로 다수의 정상 data와 소수의 이상치 data로 구성 => (심한) 불균형
  • 지도학습 기반 분류 model을 사용한다면 class 불균형으로 이상치 data를 올바르게 구분하기 어려움(대부분 정상으로 예측하는 오류를 범함)
  • 다수의 정상 data와 소수의 이상치 data를 구분하기 위해 정상 data만으로 학습하여 이상치 data를 탐지할 수 있는 algorithm이 제안됨
  • one-class classification
  • 언제 사용?
    • 정상 data만 있고 이상치 data가 없는 경우(이상치 data가 없어 평가 어려움)
  • -> 이상치 data가 없더라도 일단 model을 생성하자
    • 정상 data는 충분히 있으나 이상치 data가 극소수인 경우
  • issue
    • 정상치 data를 정의하기 어려운 경우
    • 이상치는 탐지하나 어떤 종류의 이상치 인지는 모름(이상치 종류가 많음)
      • -> 별도의 사후분석(post-hoc analysis) 필요
  • 이상치 탐지 사례

밀도기반

• 정상 data로부터 추정된 밀도를 기반으로 각 객체의 정상/이상 여부를 판단하는 방법론
• 밀도 있게 뭉쳐 있는 관측치 -> 정상 관측치로 예측
• 대부분 관측치에서 멀리 떨어진 관측치 -> 불량 관측치로 에측
• 다양한 방법론
  • Gaussiaan Density Estimation -> 정규분포
    • 각 객체가 생성될 확률을 하나의 정규분포로 가정하는 방법론
    • 정상 data들을 통하여 정규분포를 추정함
  • Mixture of Gaussian Density Estimation -> 정규분포의 확장
    • 각 객체가 생성될 확률을 여러 정규분포의 선형 결합으로 가정하는 방법론
    • 정상 data를 통하여 전체 data의 분포를 추정함
  • Local Outlier Factor
    • 강의교수의 개인적인 생각으로 nice한 방법
    • 각 관측치의 이상치 score할당하는 방법에 대한 설명, threshold를 부여 방법에 대한 설명은 없음
    • 한 객체의 주변 data 밀도를 고려한 이상치 탐지 algorithm
    • 정상 객체는 주로 주변 data가 많이 존재하며, 불량 객체는 주로 단독으로 존재함을 가정
    • 과정
      1. K-distance of object p
      • 자기 자신(p)를 제외하고 k번째로 가까운 이웃과의 거리
      2. K-distance neighborhood of object p (N_k(p))
      • k번째로 가까운 이웃과의 거리를 원으로 표현할 때, 원 안에 포함되는 모든 객체들의 수
      3. Reachability Distance (Reachability distance_k(p,o))
      • o를 기준으로 k번재 가가운 이웃과의 거리(k-distance of o)와 o와 p사이 거리 간의 최대 값
      • Reachability-distance_k(p,o) = max{K-distance of o, d(p,o)}
      4. Local reachability density of object p: (lrd_k(p))
      • 여러 reachability distance를 하나의 지표로 계산한 값
      • 자기 자신(p) 주변의 밀도가 높은 경우 -> 식의 분모가 작게 되어 lrd_k(p)값이 커지게 됨 -> 정상
      • 자기 자신(p) 주변의 밀도가 낮은 경우 -> 식의 분모가 크게 되어 lrd_k(p)값이 작아지게 됨 -> 불량
      5. Local Outlier Factor of object p (lrd_k(p))
      • 자기 자신(p)의 최종 Local Outlier Factor 값을 계산
  • Issue
    • K를 어떤 값으로 정할까?
• LOF가 어떤 값 보다 커야지 anomaly로 정의할까?(thresholding)
• 한 dataset에 2.1의 LOF값을 가지는 관측치와 또 다른 dataset에서 2.1의 LOF값을 가지는 관측치는 모두 동일하게 anomaly인가?(혹은 모두 동일하게 정상인가?)
• 계산복잡도
• 고차원

Model 기반

• Isolation Forest
• One-Class Support Vector Machine
• Support Vector Data Description

재구축 오차 기반

• 재구축 오차의 개념
• Principal Component Analysis
• Autoencoder

생성적 적대 신경망(GAN) 기반

• 생성적 적대 신경망의 개념
• AnoGAN
• GANomaly