정규화, 규제화, 표준화 - leemik3/tensorflow-2.0 GitHub Wiki

  • 정규화 (normalization)
    • 데이터 범위를 사용자가 원하는 범위로 제한하는 것
    • 특성 스케일링 : 각 특성 범위를 조정한다는 의미
    • MinMaxScaler()
  • 규제화 (regularization)
    • 모델 복잡도를 줄이기 위해 제약을 두는 방법
    • 데이터가 네트워크에 들어가기 전에 필터가 적용된 것이라고 생각하면 됨
    • 규제를 이용하여 모델 복잡도를 줄이는 방법 : 드롭아웃, 조기 종료
  • 표준화 (standardization)
    • 평균은 0, 표준편차는 1 인 데이터로 만들기
    • 다른 표현 : 표준화 스칼라 (standard scalar), z-스코어 정규화 (z-score normalization)