confusion matrix, accuracy, precision, recall, f1-score

• confusion matrix
  • 
• fbeta score
  • 
• example
  • example
    • 
    • Cat
      • TP:10, FN:15, FP:13, TN:43
      • precision: TP / TP + FP = 10 / 10 + 13 = 0.43
      • recall: TP / TP + FN = 10 / 10 + 15 = 0.4
      • f1-score: 2*(precision * recall) / (precision + recall) = 0.414
    • Doc
      • TP:20, FN:10, FP:12, TN:38
      • precision: TP / TP + FP = 20 / 20 + 12 = 0.606
      • recall: TP / TP + FN = 20 / 20 + 10 = 0.666
      • f1-score: 2*(precision * recall) / (precision + recall) = 0.634
    • Fish
      • TP:13, FN:12, FP:13, TN:43
      • precision: TP / TP + FP = 13 / 13 + 13 = 0.5
      • recall: TP / TP + FN = 13 / 13 + 12 = 0.52
      • f1-score: 2*(precision * recall) / (precision + recall) = 0.509
    • macro average f1-score
      • 평균들의 평균 개념
      • 전체 성능을 평가하기 위해 모든 class에 동일한 가중치 부여
      • Sample에 대해 동일한 weight를 주는 것이 아닌, Class 별로 똑같은 weight을 부여함
      • sum(각 class의 f1-score) / class수 = 0.519
    • micro average f1-score
      • 전체의 값들 평균 개념
      • 각 sample에 동일한 가중치를 적용할 때 유용
      • 각 class의 TP, FN, FP의 합산 값에 대한 precision, recall, f1-score 게산
      • precision = TPs / TPs + FPs = (10+20+13) / (10+20+13) + (13+12+13) = 0.53
      • recall = TPs / TPs + FNs = (10+20+13) / (10+20+13) + (15+10+12) = 0.537
      • fi-score = 0.533
    • weighted macro-average
      • 실제 instance의 수에 따라 각 class의 점수에 가중치를 부여하는 계산 방식
      • class 불균형을 다룰 때 유용

---

참고

• Performance Metrics
• 이진 분류기 성능 평가방법 AUC(area under the ROC curve)의 이해
• Evaluating Multi-label Classifiers