팀 NLP 11조 Week12 Day4

목차

• 팀 NLP 11조 Week12 Day4
  • 목차
  • 일자
  • 팀원
  • 주간 일정
  • 피어세션
    • 추가 결정사항
    • 팀 분배
      • 현승님 면접 이야기
      • Retrieval
      • data 분석 (+ 각 페이즈별 input - output)
    • Retriever
    • Reader
    • Elastic Search
    • General

일자

• 2021.10.21 목

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

추가 결정사항

• 코드 이해를 위해 PR시 6명 approve를 기대해보자.
• 피어세션에서 코드리뷰를 해 보자 (최대한 빠르게)

팀 분배

• Reader

  • 우원진
  • 윤영훈
  • 홍현승

• Retrieval

  • 문석암
  • 장동건
  • 박아멘
  • 박마루찬

현승님 면접 이야기

• deep learning과 machine learning의 차이
• ai tech 면접 모음 참고가 도움
• 했던 프로젝트 물어봤음

Retrieval

• 성능이 너무 나쁘다. 빠르게 dense embedding을 구현하자.
• Dense embedding 공부하고 발표, 구현 (박마루찬)
• 목표
  1. retrieval 평가 척도
     • f1,re,pre,acc
  2. Refactoring (각자 적용하고 PR)
  3. elasticsearch 도입 후 기존과 비교
  4. 혼합해서 사용(elasticsearch, sparse, dense..)
• 학습이 잘 되지 않는다. 이상한걸 학습한다.
  • negative와 positive를 랜덤하게 섞어서 학습시켜보자

data 분석 (+ 각 페이즈별 input - output)

• 시간이 남거나, 다음 도전이 어렵다면 짬을 내서 시도해 보자. 빠를수록 좋다.
• max_length retrieval 성능과의 관계?
• 외국어 10개 이상 문장은 제외 (전처리 진행)
• URL 태그등이 제거되지 않은 부분이 존재한다 (다시 전처리 한번은 해줄필요가 있다.)
• docs title 은 과연 어떻게 활용 수 있을까??

Retriever

• retriever NLLLoss의 target index를 zeros로 주느냐 arange로 주느냐?

  • 왜 zeros로 했을 때 loss가 0이 되지?

    • 수렴이 iter 2번만에 된다

  • 어떤 쿼리를 넣던 간에 같은 context가 가장 유사한 context라고 뜬다.

    

  • 학습을 시키지 않은 모델도 똑같은 결과 → 코드 상의 문제?

  • NLLLoss의 target를 [1, 1]로 학습하면 단서를 얻을 수 있지 않을까? - 아멘님

    • 결과: 첫번째 인덱스를 0으로 보냄 [0, 0]의 경우와 똑같다?
    • batch 순서를 2번만에 알아냈다?

  • 여기서는 batch 중 정답을 찾는 과정이므로(하나만 정답 나머지 오답) → classification 문제 - 원진님

    • [0, 0]이면 결국 모두 오답으로 생각해서 loss가 0

  • negative sample의 개수를 늘려볼까? -원진님

  • 왜 실습코드와 똑같은 실행인데 왜 다른 결과가 나올까?

  • klue를 쓰든 bert-base-multilingual 쓰든 똑같은 현상

Reader

• Roberta와 Bert의 차이 알아보기
• token 임베딩 + 문장 전체의 cls 토큰
• query의 임베딩을 토큰에다 concat → fully connected layer
• 단일 모델 성능은 klue/roberta-large
• klue + XLNet 앙상블 시도해보기
  • 한국어로 기학습된 모델들 중 성능이 준수한 모델들을 앙상블 고려해보면 좋을 것 같음.
  • 사용하면 안 되는 모델에 대한 주의가 필요

Elastic Search

• 자료
• Reader팀이 시간남으면 시도해보자

General

• NLLLoss와 CrossEntropy와 뭐가 다른거지?