• 목요일에 알고리즘 vs 논문리뷰 -> 일단 알고리즘!
• Github Remote <-> Upstage Server: 연주님, 현수님은 이미 하고 있음!

• baseline code에서 model roberta로 바꿔서 돌려보신분 계신가요.. 차원수가 안맞아서 오류가 뜨는거같은데 어떤부분을 고쳐야할지 감이 안오네요;;
• 코드는 제공된 코드에서 MODEL_NAME = "klue/roberta-large" 이 부분만 바꿨는데 사진과 같은 오류가 뜨네요 ㅠㅠ 버트 베이스는 잘 되는데 로버타 base도 안되더라구요 ㅎㅎ... 이게 무슨 문제인지 조금 더 천천히 뜯어가면서 공부해야겠습니다ㅠㅠ

rm -rf ~/.local/share/Trash/* 출처: https://askubuntu.com/questions/468721/how-can-i-empty-the-trash-using-terminal

• ALBERT
  • semicolon을 넣어야 하나 마나? '[SEP]'으로 넣어야 하나 아니면 [SEP]로 넣어야 하나.

라벨이 총 30개: type 간의 관계들로 라벨이 되더라고요.

• Special token을 직접 추가하듯이 등으로 Replace해서 넣었는데 성능이 좋아지진 않았다.
• type의 조합으로 나올 수 있는 게 몇 없더라고요.
• 예를 들어서 subject하고 object의 관계가 organization이 해체한 날짜였거든요.
• 모델 라벨 결과값을 쪼갤 수 있는가?: 라벨 쪼개는 방식은 잘 모르겠음. 비틀즈, 조지 해리슨 관계를 파악해야 하잖아요.
• 비틀 ##즈처럼 나뉘는 게 안 좋을 것 같아서 type 별로 바꿨는데, 그렇게 잘 나오지는 않더라고요.

• 기타고유명사인 듯

• 저번 Pstage 때는 Crossentropy loss에 class weights를 부여를 했거든요. 그거를 했을 때랑 안 했을 때는 비교를 안 해봤고. 그걸 했을 때 성능이 잘 나오지는 않더라. Albert 모델의 문제인 건지 잘 모르겠음. Class weight를 하는 게 어떻게 생각하시나요?
• Class weight 넣는 방식이 여러 가지가 있는데. 그걸 시도해봐야겠다는 생각을 하고 있어서. Focal loss weight 넣는 거랑 class weight 넣는 거랑 다른가 싶기도 하고.
• Trainer에 class weight을 넣는 방식을 몰라서 삽질을 했는데. 결국 찾았거든요! Trainer에서 상속받아서 compute_loss로 overwrite을 했다.
• Focal loss에 EDA한 class weight으로 넣는 것도 좋을 듯 하다.

ValueError: Couldn't instantiate the backend tokenizer from one of: 
(1) a `tokenizers` library serialization file, 
(2) a slow tokenizer instance to convert or 
(3) an equivalent slow tokenizer class to instantiate and convert.

input_id, token_id, attention_mask, labels 딕셔너리로 나오잖아요?

• object랑 원래 문장이랑 0,1로 binary로 context를 구분하는 듯 하다.

• CUDA 에러는 low-level 에러라서 .to_device()를 GPU 대신에 CPU로 하면 좀 더 하이레벨 에러를 해결할 수 있습니다.