팀 NLP 11조 Week13 Day3

목차

일자

• 2021.10.27 수

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

Reader

• answer를 뽑았을 때, exact match 특성상 조사가 있으면 틀린 것으로 판정될 확률이 높다고 생각됨.
  • konlpy의 mecab을 사용하여 의미 없는 조사 없애는 것 고려
• No answer 추가? 답 없음 제외, 소프트 보팅을 하는 방향으로 고려.

data 분석 (+ 각 페이즈별 input - output)

• 시간이 남거나, 다음 도전이 어렵다면 짬을 내서 시도해 보자. 빠를수록 좋다.

• max_length retrieval 성능과의 관계?

• 외국어 10개 이상 문장은 제외 (전처리 진행)

• URL 태그등이 제거되지 않은 부분이 존재한다 (다시 전처리 한번은 해줄필요가 있다.)

• docs title 은 과연 어떻게 활용 수 있을까??

• retrieval의 성능이 좋지 못하기 때문에 top k를 넘겨 주었을때 reader에서 어떻게 이를 활용해야 하는가?

  • top k를 모두 붙여서 하나의 문서로 만들어서 그 안에서 답을 찾는다.
    • 메모리 문제, 훈련 속도 문제 등의 이슈가 있음
  • top k를 하나씩 넘겨 답을 뽑고 그 중 하나를 고른다.
    • 정답 없음이라는 답을 도출하는 훈련도 필요.
    • 모든 문단에서 정답없음이면 어떻게 해야 하는가?
    • 여러 답이 나오면? 스코어, 가중치 등으로 선택하는 기준 생성이 필요.
  • 결국 다 해보는게 답이기는 하다. (뭐가 더 좋을지는 인간이 단언할 수 없다.)

상황

Test - set (Val)

TOP-5 30 (dense none in-batch) TOP-5 28 (dense in-batch) TOP-5 49.7 (sparse) (방금)

작업 우선순위 (수요일)

1. dense_retrieval.py 코드정리 (오늘 같이) 진행후 PR
2. Inference (Spare , Dense)
   • top-k inference Reader에 입력을 어떻게 할까?
3. Sparse Top-N -> 데이터 로더 구성 (라벨, N개의 유사 문서, 랜덤) (아멘)
   • 실험에 대한 결과를 볼 수 있는게 아닌가
   • 추가 학습에 도움이 될 것 같다.
4. 전처리 (석암)
   • 성능 개선 없음, 특수 문자가 문제 되는 문서는 소수인 듯
   • 선행 실험자(전기수 등)들의 결과는 이 전처리가 성능에 부정적이었다고 함.
5. BM25 (동건)
   • rank_bm25로 전반적인 로직 작성 완료
   • query 데이터 가져오고 retrieve 하는 부분 작성 및 정리 예정
6. 엘라스틱 (원진, 영훈, 현승)
   • 결과를 뽑아내는 것 성공, 쥬피터 노트북에서 .py 파일로 옮기는 작업
   • index config 파일 수정? 예정
7. 토론게시판 dense retrieval 48%(val set) 벤치마크 (마루찬)
   • p_encoder 입력 전에 dimension차이 (실습 코드 간의 차이)를 확인해보겟음
   • 기존의 batch dependency는 matmul 차원 변환에서 문제로 인함
   • 낮은 성능은 training epoch, optimizer 등으로 개선할 수 있을 것이라고 생각 중
8. hybrid (방법론이 많음)
   • 제시한 위의 것들이 선행된 후에 생각해보는게 좋을 것이다.
9. Parameter searching (마루찬)

코드 작업

• dense retrieval에서 wiki 사용하게 수정
• get_item index 4 -> num_neg
• inference.py 수정

Elastic Search

• 자료