GPT 학습 중 Issue 기록 - Songwooseok123/Study_Space GitHub Wiki

밑에 2개 코드는 같은 결과를 생성한다.

  1. label을 내가 직접 shift해서 , 직접 loss를 계산해도 되고,
  2. 걍 있는 그대로 모델에 넣되, labels도 같이 input으로 넣어주면 알아서 shift하고 loss계산해준다.

image