평가지표 - penny4860/study-note GitHub Wiki

NDCG

  • CG (Cumulative Gain)
    • relevant score의 summation
    • e.g.) target item이 정해져있는 경우
      • relevant_score = [1.0, 0.0, 0.0, ...]
        • 추천된 item의 첫번째에 target이 존재하는 case
      • relevant_score = [0.0, 0.0, 1.0, ...]
        • 추천된 item의 세번째에 target이 존재하는 case
    • top-k안에만 타겟이 (모두)있으면 CG값은 같아짐.
  • DCG (Discounted CG)
    • CG / weights
      • weight 예시: [1.0, 0.7, 0.5, ...]
    • 검색순위에 따른 penalty를 추가
  • NDCG (Normalized DCG)
    • DCG / iDCG
    • ideal DCG로 나누어 정규화