팀 NLP 11조 Week14 Day4

목차

• Ensemble 관련
• 최종 제출
• Dense
• 멘토링

일자

• 2021.11.04 목

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

Ensemble 관련

• Reader 앙상블
  • Hard voting
    • koelectra를 제외하고 앙상블 진행한 EM 65.8 로 최종 제출.
    • 단일 모델 최고 성능 EM 60.

최종 제출

• Retrieval
  • bm25, 엘라스틱 서치
• Reader
  • Roberta-large, Roberta-large기반 custom model

Dense

• 훈련 에폭 늘릴 때 성능이 떨어지는 이유는 negative sample에 정답 문서가 들어가는 경우 때문
• in-batch training으로 잘못된 데이터셋 구현을 피하니, 훈련 에폭과 train score가 비례하는 것을 확인
• 더 높은 성능을 위해서 BM25 top-k 문서를 어떻게 활용하는지 알아볼 것

멘토링

• 앙상블은 대회를 위한 기법일 뿐이다.
• 엘라스틱 서치를 넘기란 어려운 일이다. Dense로 그 정도 성능이 힘들다.
• 내가 접해보지 않은 키워드를 익혀가는 것이 부스트캠프에서 크게 얻는 것이다.
• 클라우드, 프론트엔드, db 등이 들어가므로 이후의 과정은 리눅스 등을 알아야만 진행이 용이하다.
  • 프로그래머스 sql 문제는 문제위주. 실전에서 쿼리문 등을 잘 쓰는 방법을 익혀두자.
• 많은 기업들이 홍보차 네트워킹데이에 참여. 다만 진짜 거기서 뽑는건 아님. 그냥 이해관계가 맞물렸을 뿐?
• 제대로 업무 프로세스가 굴러가지 않는 회사에 가지 말자 → 고치기 어렵고 나중에 경력을 어필하기가 힘듬
• 문제 공유 가능. 천재닮! 천재닮!