팀 NLP 11조 Week14 Day1

목차

• 주간 일정
• Retrieval 성능
• 진행 상황
• 할 일
• Ensemble 관련

일자

• 2021.11.1 월

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

Retrieval 성능

• Sparse : top5 ~ 58
• Elastic : top5(84.8), top10(89)
• Dense : top5 ~ 37

진행 상황

• Elastic
  • 완료. index_config 변경을 통해 또 다른 성능을 기대해볼 수 있을 것 같음.
• Dense
  • Epoch이 1 이상일 때, sampling을 다시 하기
  • Epoch을 1 넘어가면 오버피팅 시작됨 (오버피팅이 된다고 training acc가 ~90 이렇지는 않음)
• BM25
  • 작동은 하도록 만들었으나 성능이 과하게 저조함.

할 일

• preprocessing

  • preprocessing을 wiki와 context에 진행 시, retrieval의 성능이 약 0.8%정도 향상됨. reader를 학습시킬 때, 적용하여 학습시켜보면 좋을 것 같다.

• post processing 조사 제거

  • 끝부분만. 중간의 조사는 유지.

• bm 25 (장동건, 박아멘)

  • 완성되어 있는 코드를 보고 잘 이식해보기.

• Dense

  • Sparse, elastic, dense topk로 훈련하기
  • 1에폭 미만 성능 확인

• https://www.sbert.net/docs/training/overview.html

  • top 30의 성능은 약 48%정도. 많이 저조함.

Ensemble 관련

• Reader의 입력 n docs를 다르게 하는 것도 다른 모델로 상정할 수 있겠다

• Reader의 모델을 klue/roberta-large, klue/roberta-base, KoELECTRA, xlm-roberta-large, XLNet 중 4개 정도 산정해볼 수 있을 것 같다.

• 준비해야 하는 것:

  • Reader model

    • klue/roberta-large (완료)
    • klue/roberta-base
    • KoELECTRA
    • xlm-roberta-large
    • XLNet

  • Retrieval model (top 5 60은 넘어야 할 것)

    • Elastic (완료)
    • Dense + elastic(top 100)
    • Sparse + BM25

코드 정리 슬슬 하죠

피어세션