팀 NLP 11조 Week13 Day1

목차

일자

• 2021.10.25 월

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

추가 결정사항

• 코드 이해를 위해 PR시 6명 approve를 기대해보자.
• 피어세션에서 코드리뷰를 해 보자 (최대한 빠르게)

팀 분배

• Reader

  • 우원진
  • 윤영훈
  • 홍현승

• Retrieval

  • 문석암
  • 장동건
  • 박아멘
  • 박마루찬

Retrieval

• 학습이 잘 되지 않는다. 이상한걸 학습한다.

  • negative와 positive를 랜덤하게 섞어서 학습시켜보자

• 모델이 학습하는 것은 Negative에 대해서 vector 거리를 두는건 맞지만 유사한 것 끼리 비교하는 성능이 비교적 너무 떨어짐

data 분석 (+ 각 페이즈별 input - output)

• 시간이 남거나, 다음 도전이 어렵다면 짬을 내서 시도해 보자. 빠를수록 좋다.
• max_length retrieval 성능과의 관계?
• 외국어 10개 이상 문장은 제외 (전처리 진행)
• URL 태그등이 제거되지 않은 부분이 존재한다 (다시 전처리 한번은 해줄필요가 있다.)
• docs title 은 과연 어떻게 활용 수 있을까??

상황

Test - set (Val)

TOP-5 30 (dense none in-batch)

TOP-5 28 (dense in-batch)

TOP-5 49.7 (sparse) (방금)

작업 우선순위 (수요일)

1. dense_retrieval.py 코드정리 (오늘 같이) 진행후 PR
2. Inference (Spare , Dense)
3. Spare Top-N -> 데이터 로더 구성 (라벨, N개의 유사 문서, 랜덤) (아멘)
   • 실험에 대한 결과를 볼 수 있는게 아닌가
4. 전처리 (석암)
5. BM25 (동건)
6. 엘라스틱 (원진, 영훈, 현승)
   • top-10 진짜 좋다
7. 토론게시판 dense retrieval 48%(val set) 벤치마크 (마루찬)
   • model 변경 (multi-lingual 써보면 어떨까?)
8. hybrid (방법론이 많음)
   • 제시한

Elastic Search

• 자료