2021 10 18 - KR-HappyFace/meetup-logs GitHub Wiki

DPR 논문에 유의미한 내용이 많은 것 같다: 성욱
Entity marker 추가하기: 준홍
sparse vs dense 실험: 재영
- Baseline vs DPR mean one encoder. 이건 깃헙에 업로드해놓겠다.
- 평균 내는 방법이 좋은 것 같은데, pad token 빼고 하는 건 어떻게 하는 게 좋지 않을까. 문장이 길어서 왠만하면 꽉꽉 채워서 들어갈 것 같은데. Padding이 많이 들어간 것들은 padding 제외하고 평균 내면 좋을 것 같다고 생각해봤습니다.
MRC 쪽은 Custom Model 방법론이 있는 게 아니라 Big Bird 같은 Pretrained 된 모델이 있더라고요. Long BERT 같은 건 한국어로 있지 않을까 생각하긴 했는데.
- Pretrain은 못시키나? 가능은 할 것 같은데. 맘 같아서는 KLUE MRC 쓰고 싶네요.
[MASK]를 랜덤으로 씌워보려는 실험을 하고 있음.
Retriever은 그래도 어떻게 해볼 수 있는데, Reader은 어떻게 성능 향상을 시킬지 모르겠다.
Retriever으로부터 온 passage들 중에서 몇 개를 우리가 다시 사용을 할 것인지, negative passage로 사용을 할 것인지 hyperparameter로 사용할 수 있다.
T5는 고유명사에다가 Masking을 하더라고요. 그렇게 고유명사를 Masking해서 고유명사를 맞추게 하면 그런 문맥이 갖고 있는 정보는 더 갖고 오지 않을까?
Special Mission 2 Generation Based MRC에서 문제가 있는 것 같다.