30.1 Feature Engineering - yojulab/learn_MLs GitHub Wiki

• 특성 공학 기법 : 컴퓨터가 학습을 수행 할 때, 일반화 된 수식이 적절하게 도출이 될 수 있도록 데이터를 다듬는 기법

1. Imputation (결측값 처리)
2. Scaling & Encoding
3. Cross Validation
4. Hyper Parameter Tuning
5. Imbalanced Data Sampling

항목별 설명

1. Imputation (결측값 처리)

• 결측값을 다른 값으로 대치하여 데이터의 공백 없이 학습을 수행
• 제거 : 결측값이 있는 모든 행 제거 (DataFrame.dropna() )
• 대치
  • 연속형 -> 평균 (중앙값) / 범주형 -> 최빈값
  • 머신러닝 알고리즘 이용한 대치(KNN)
  • 보간법 (DataFrame.interpolate( )) : 시계열 데이터인 경우

ex)

이름	키	몸무게	나이	성별
John	180cm	80kg	30세	남성
Kate	165cm		25세	여성
Mike	175cm	70kg	35세	남성
Jane		50kg	28세	여성

2. Scaling & Encoding

• Scaling : 연속형 데이터의 Scale 맞춰주는 작업 Ex) 계약기간 12~60 / 비용 10,000,000 ~ 100,000,000 / 연령 20 ~ 80
  • Standard Scaler : 모든 숫자 데이터를 평균 0 / 표준편차 1
  • Min Max Scaler : 모든 숫자 데이터를 최소값이 0/ 최대값 1
  • Robust Scaler : 모든 숫자 데이터를 중앙값 0/ IQR(Inter Quantile Range) 1
• Encoding : 범주형 데이터를 연속형 숫자 데이터로 변환
  • Label Encoding : 범주형 데이터의 각 항목을 정수로 변환
  • One Hot Encoding : 항목만큼 벡터화

3. CrossValidation (교차 검증) : 모든 학습데이터를 교차로 바꿔 나가며 학습 수행하는 기법

4. Hyper Parameter Tuning : 데이터를 학습할 때 알고리즘에 의해 발생하는 구조들을 사용자가 통제

• Hyper Parameter : 알고리즘 내 수학 구조 / 학습을 수행하면서 발생하는 구조
  • Random Search : Random으로 부여해 가장 적절한 것 찾는 방법
  • Grid Search : 사용자가 사전에 지정한 방법대로 부여하여 해 찾는 방법

Ex) Decision Tree(Depth / Leaf / Split ...)

• Random Search: Depth: 10 / Leaf : 7 / Split :15 or Depth: 20 / Leaf : 3 / Split :5
• Grid Search : Depth 510 / Leaf 510 / Split : 1~20

5. Imbalanced Data Sampling : 분류모델에서 Dataset 비율이 차이나는 경우, 항목 빈도수가 많거나 적은 쪽으로 비율 맞추어 학습하는 기법

• Under Sampling : 데이터의 비율이 적은 쪽으로 한쪽의 데이터를 줄여주는 기법(Random Under Sampling / Tomek's Link / KNN ....)
• Over Sampling : 데이터의 비율이 많은 쪽으로 한쪽의 데이터를 늘려주는 기법(Random Over Sampling / SMOTE / ADASYN ...)

Ex) 불량여부(Y) <-> X1, X2, X3... -> 정상 950/ 불량 50 Imbalanced Sampling : 정상 50 / 불량 50 or 정상 950 / 불량 950