팀 NLP 11조 Week12 Day3

목차

• 팀 NLP 11조 Week12 Day3
  • 목차
  • 일자
  • 팀원
  • 주간 일정
  • 피어세션
    • 추가 결정사항
    • 팀 분배
      • Read
      • Retrieval
      • data 분석 (+ 각 페이즈별 input - output)

일자

• 2021.10.20 수

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

추가 결정사항

• 코드 이해를 위해 PR시 6명 approve를 기대해보자.
• 피어세션에서 코드리뷰를 해 보자 (최대한 빠르게)

팀 분배

• Reader

  • 우원진
  • 윤영훈
  • 홍현승

• Retrieval

  • 문석암
  • 장동건
  • 박아멘
  • 박마루찬

Read

• 앞으로 어떤 모델을 사용할지 고르기 -> 논문읽고, 벤치마크 표 참고하기 -> 이 모델이 왜 잘되는지 이해하고, 팀원들한테 설명하기 -> 실험도 진행
• 목표
  • MRC Reader에 사용할 만한 기법들을 알아보기 위해 논문 찾아보기
• train할 때, context 내에서 답을 찾을 수 없는 data는 성능에 도움이 되지 않는다는 논문이 존재 -> train dataset에서 답을 찾을 수 없는 data를 빼고 train 시키는 것도 고려.

Retrieval

• 성능이 너무 나쁘다. 빠르게 dense embedding을 구현하자.
• Dense embedding 공부하고 발표, 구현 (박마루찬)
• 목표
  1. retrieval 평가 척도
     • f1,re,pre,acc
  2. Refactoring (각자 적용하고 PR)
  3. elasticsearch 도입 후 기존과 비교
  4. 혼합해서 사용(elasticsearch, sparse, dense..)

data 분석 (+ 각 페이즈별 input - output)

• 시간이 남거나, 다음 도전이 어렵다면 짬을 내서 시도해 보자. 빠를수록 좋다.
• max_length retrieval 성능과의 관계?
• 외국어 10개 이상 문장은 제외 (전처리 진행)
• URL 태그등이 제거되지 않은 부분이 존재한다 (다시 전처리 한번은 해줄필요가 있다.)
• docs title 은 과연 어떻게 활용 수 있을까??