팀 NLP 11조 Week10 Day3

목차

• 피어세션
  • 최종 모델 선정
    • 1등 (75.796)
    • 2등 (75.607)
    • 3등 (75.590)
    • 새로운 아이디어 (2회 남음)
  • 프로필 아이콘 어떻게 통일하지!
• 멘토링
  • 일정 조율
  • 숙제
  • 공지
• 랩업 리포트
  • 목차
    • 1. 프로젝트 개요 (여기를 열심히 줄이기)
    • 2. 프로젝트 팀 구성 및 역할
    • 3. 프로젝트 수행절차 및 방법
    • 4. 프로젝트 수행 결과
    • 5. 자체 평가 의견

일자

• 2021.10.07 목

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

피어세션

최종 모델 선정

1등 (75.796)

• 5개 모델
  • 72.710 (TAPT+ added data + entity marker, tokenization modify)
  • 73.950 (TAPT + entity marker, tokenization modify)
  • 74.034 (added data + entity marker + tokenization modify k-fold 5)
  • 72.991 (entity marker + tokenization modify)
  • 70.724 (TAPT epoch 30 + added data + entity marker, tokenization modify)

2등 (75.607)

• 4개 모델
  • 72.710 (TAPT+ added data + entity marker, tokenization modify)
  • 73.950 (TAPT + entity marker, tokenization modify)
  • 74.034 (added data + entity embed + tokenization modify k-fold 5)
  • 72.991 (entity embed + tokenization modify)

3등 (75.590)

• 4개 모델
  • 72.710 (TAPT+ added data + entity marker, tokenization modify)
  • 73.950 (TAPT+ entity marker, tokenization modify)
  • 73.124 (added data + entity embed + tokenization modify)
  • 72.991 (entity embed + tokenization modify)

새로운 아이디어 (2회 남음)

시도 완료

• 1,2,3 등 데이터 합치기
  • 결과 1등과 동일
• k-fold에 가중치 (1등 모델에서)
  • 1.2 정도 k-fold
  • 결과 75.962, 82.359
• 성능 만큼 가중치 (1등 모델 기준에서)
  • 능력만큼 준다
  • 각 확률의 제곱합? 마찬가지로 힘들어 보인다.

---

• 멘토님 아이디어
  • 하드 보팅 (뽀록) : 확률값 제출을 같이 해야 해서 어려울듯 하다. (임의로 각자 1/n확률이라 할 수도 있겠지만)
  • eval비교를 통한 선택
  • 전부 소프트 보팅
    • 단일모델

프로필 아이콘 어떻게 통일하지!

• 절취선 같은거?

멘토링

• 마지막 날 무엇을 할지 계획을 세우는 것이 중요하다
• 앙상블 코드 잘 남겨두면 앞으로도 많이 씀!
• 마지막에 파라미터 튜닝 툴을 사용하는것도 좋다!
• 점수 때문에 개개인의 공부를 포기하지 말 것!
  • 점수에 기여하는가?
  • 성장에 기여하는가?
• MRC에서는 처음부터 코드를 짠 팀이 성적이 좋았다고 하네요
  • baseline은 이해의 용도로만 사용하기
• 호칭 멘토님 사용하지 말 것!

일정 조율

• 22일 금요일로 그 주 일정 조율 가능한지

숙제

1. relu + max pooling 순서에 같은점과 이점 보이기
2. 2D-Conv 으로 2D Avg pooling 보이기
3. sin/cos 은 왜 거리가 같은지 보여주기

공지

• 랩업 리포트
  • 너무 부풀리기 금지(너무 디테일한 부분)
  • 피드백을 받고자 하는 것을 염두하고 작성하는것이 더 좋을듯
  • 멘토만 보게된다
  • 시간 너무 낭비하지 말 것
• 코드 제출
  • 코드 피드백을 받고 싶은 부분은 앞부분에 작성 요망

랩업 리포트

목차

• [1. 프로젝트 개요 (여기를 열심히 줄이기)]
• [2. 프로젝트 팀 구성 및 역할]
• [3. 프로젝트 수행절차 및 방법]
• [4. 프로젝트 수행 결과]
• [5. 자체 평가 의견]

1. 프로젝트 개요 (여기를 열심히 줄이기)

• 어떤 프로젝트이며 어떤 task를 수행했는가?
• 한줄정도 최종 결과

2. 프로젝트 팀 구성 및 역할

• 참여한 부분에 대한 명시

3. 프로젝트 수행절차 및 방법

• 분석
  • 접근 방법, 발상
    • 논문에서 좋은 결과를 낸 모델을 선정.
    • 기존의 Pretraining과 최대한 비슷한 입력을 주기 위한 입력 형태 변형
    • 데이터 생성을 위해 동일 type의 다른 단어 넣기
    • 목표 subject/object에 type을 나타내는 토큰을 넣기
    • 또 뭐가 있을까요?
• 모델 선정
• 평가 개선
• 적용 사항
  • 각자 시도한 방법들 설명

4. 프로젝트 수행 결과

• 성능 향상에 도움이 되었던 적용
• 최종 모델
• 최종 점수

5. 자체 평가 의견

• 잘한 점
  • 깃허브 사용이 만족스러웠다. -> 프로젝트 관리가 되는 느낌이였다.
  • task관련 paper를 기반으로 실험을 분할 진행한 것.
• 시도 했으나 잘 되지 않았던 것들
  • 아쉬운 점과 중복?
  • oversampling
• 아쉬웠던 점들
  • 실험 관리 좀 불편했음 (이름 짓기, wandb에서 내 모델 찾기)
    • arg 가 너무 많아서 오히려 힘들었음..
    • 다음에는 마루찬 1, 2, 3, 4, 5 아멘 1,2,3,4 등으로 작성해보자.
  • 모델 분할 못해본 것
  • embedding layer추가 못 해본 것
  • tokenizing부터 커스텀 모델 작성하기
  • BERT모델 위에 층을 더 쌓아서 실험해보지 못한것
  • wandb를 좀 더 잘 사용할수있지 않았을까