팀 NLP 11조 Week11 Day3

목차

• 피어세션
  • 계획 수립하기
  • 팀 분배
    • baseline 코드 관련해서 분석. 팀별로 알아서 할 것.
  • Baseline 코드 발표
  • 생긴 질문은 github discussion에 작성.
• 멘토링
  • 일정 조율
  • 내용
    • 코드 피드백
    • 질문 답변
    • 과제
  • Reader 회의
    • Retriever 훈련 할 때, 여러 문서 선택할 수 있게 하기
  • Retriever 회의

일자

• 2021.10.14 목

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

계획 수립하기

• MRC 논문에서 제시한 모델 고려.
• baseline 코드, 입출력에 관한 설명을 준비해보자. (팀 분배 참고)

팀 분배

baseline 코드 관련해서 분석. 팀별로 알아서 할 것.

• Reader

  • 박마루찬
  • 우원진
  • 윤영훈
  • 홍현승

• Retrieval

  • 문석암
  • 장동건
  • 박아멘

강의 발표

강의 발표 (5~10분 사이) 4 - 우원진 5 - 문석암 6 - 윤영훈 7 - 박마루찬

생긴 질문은 github discussion에 작성.

• 답변과 토론은 자유롭게 작성.

멘토링

일정 조율

• 다음주 금요일 6시

내용

1. 1기 MRC 멘토분들의 작품이다..
2. elasticsearch, pororo
   • 와우 엘라스틱서치.....
3. 모델 선정시 klue 관련 pre-trained model은 사용하지 않아야 함.
   • 데이터셋이 klue의 부분집합이기 때문. 일종의 cheating.
4. 추가 과제가 슬랙에 나갑니다.
5. 채용 지원은 많이 해 봐라. 코테와 면접 경험은 많을수록 좋다.
   • 한 주에 한 번 있는 위클리 챌린지(프로그래머스) 문제 풀어보실래요?

코드 피드백

• 사람별로 코드가 통일이 안 되어 있다
  • 코딩 스타일에 대한 linter를 적용할 필요가 있어 보인다.
  • type hint 적용해주세요!

질문 답변

• inner product 왜 쓰나요?

  • cosine similarity와의 차이 :
  • 거의 대부분의 경우 크기만 다름
  • 원소의 크기 ordering은 달라지지 않음
  • 예시의 100은 굉장히 edge한 케이스 일 것
  • 이런 엣지 케이스가 발생한다면 모델이 정상적으로 작동하지 않는 것일 것이다.
  • 대부분 입력값이 scale 되어 있어서 저런 문제가 생기지 않을 것
  • 연산 속도에 대한 이점이 있다.

• Normalize 해줘도 상관은 없죠?

  • 넵

• span 찾는 문제에서, Bert 출력 중 context 부분만 사용하는가?

  • 1기 때 question 부분도 사용한 경우가 있었다.

• Bert 맨 끝단에 뭐가 나오나요? z인가요?

  • 이후에 정확한 답변을 드리겠습니다.

• Attention mask, token type id 입력에 곱해져서 들어가나요?

  • 네, 자세한 것은 확인해봐야 되지만 그럴 듯 합니다.

• MRC가 검색 대비 어떤 장점을 가지는지

  • MRC가 왜 필요한가 -> 어떤 장점을 가져다 줄수있는가

과제

• Maxpooling -> Relu, Relu -> Maxpooling : 단조증가 함수일 경우 모두 성립