2021 10 19 - KR-HappyFace/meetup-logs GitHub Wiki

영진님: 랜덤 Masking + KE-T5 실험 중 링크

• T5를 이용한 SQuAD 1.1 EM 89점 정도

DPR tutorial: https://colab.research.google.com/github/deepset-ai/haystack/blob/master/tutorials/Tutorial6_Better_Retrieval_via_DPR.ipynb

• 다양한 token 적용하는 것 좋아보임
• FAISS 시간 단축에 필수. 무조건 사용하는 것이 좋아보임
• Negative Sampling 무조건 적용하는 것이 좋다 (In batch negative sampling 성능 향상 있었다고 논문에 기재)
• Gold -> 우리 데이터셋에는 해당되지 않는 것으로 보임
• 논문에서 WQ 데이터셋 (small dataset)에 대한 Single 실험 참고하는 것이 좋아보임
• 논문에서는 Batch size 128로 실험. 늘리면 늘릴 수록 성능 좋아짐
• End-to-end로 학습하는 것보다, Retriever + Reader 각각 학습하는 것이 성능 좋았음

T-5는 Generative model인데, Extractive QA task도 가능

Elastic Search 적용하는 것도 좋아보임 (오피스아워때 실제로 적용한다는 Hint)

• Elastic Search tutorial 링크

Generative & Extractive 모델의 앙상블이 가능한가? -> 생각해봐야함