• [CLS] token은 첫번째 문장의 시작 부분에 추가되며 분류 작업에 사용, [SEP] token은 모든 문장의 끝에 추가되며 문장의 끝을 나타내는 데 사용
• Token Embedding 변수들은 사전 학습이 진행되면서 학습됨

• 두 문장을 구별하는데 사용

• Transformer가 어떤 반복 mechanism도 사용하지 않고 모든 단어르 병렬로 처리하므로 단어 순서와 관련된 정보를 제공해야 하는데 이때 위치 Positional Embedding사용

• 자동 회귀 언어 모델링(Auto-regressive Language Modeling)
  • 전방 예측(Forward(left to right) prediction)
  • 후방 예측(Backwrad(right to left) prediction)
• 자동 인코딩 언어 모델링(Auto-Encoding Language Modeling)
  • 양방향 에측을 모두 활용하여 문장 이해 측면에서 더 명확해지므로 더 정확한 결과를 제공

• ([MASK] token은 사전학습시에만 사용하고 fine-tuning입력에는 없으므로)사전학습과 file tuning사이에 불일치가 생기게 됨. 이를 극복하기 위해서 80-10-10규직 적용
  • 15%중 80%의 token(실제 단어)을 [MASK] token으로 교체.
  • 15%중 10%의 token(실제 단어)을 임의의 token(임의단어)로 교체
  • 15%중 10%의 token는 어떤 변경도 하지 않음

• Mask된 token을 예측하기 위해 BERT에서 반횐된 mask된 Token R_[mask]의 표현을 softmax 활성화를 통해 FFNN에 전달 후 확률 출력

• [CLS] token은 기본적으로 모든 token의 집계 표현을 보유하고 있으므로 문장 전체에 대한 표현을 담고 있음

• 분류 계층과 함꼐 사전 학습된 BERT model의 가중치를 update
• 사전 학습된 BERT model이 아닌 분류 계층의 가중치만 update. 이렇게 하면 사전 학습된 BERT model을 특징 추출기로 사용하는 것과 같음

• BERT model의 변수를 줄이는 방법중 하나. 모든 encoder의 변수르 학습시키는 것이 아니라 첫번째 encoder의 변수만 학습한 다음 첫번째 encoder layer 변수을 다른 모든 encoder layer와 공유
  • All-shared: 첫번째 encoder의 하위 layer에 있는 모든 변수를 나머지 encoder와 공유
  • Shared feed forward network: 첫번째 encoder layer의 feed forward network의 변수만 다른 encoding layer의 feed forward network와 공유
  • Shared attention: 첫번째 encoder layer의 multi head attention 변수만 다른 encoder layer와 공유
• 팩토라이즈 임베딩 변수화(factorized embedding parameterization)
  • Embedding행렬을 더 작은 행렬로 분해하는 방법

• 사전학습에 NSP를 사용하는 것이 실제로는 유용하지 않고, MLM 대비 난이도가 높지 않음
• NSP는 주제에 대한 예측과 문장의 일관성에 대한 예측을 하나이 하나의 작업으로 결합되어 있ㅇ므
• SOP는 주제의 예측이 아니라 문장 간의 일관성 고려

• 이진 분류 task, 주어진 한 쌍의 문장이 문장 순서가 바뀌었는지 여부(positive/negative)를 판단(NSP는 한쌍의 문장의 isNext, notNext인지 예측하는 형태로 학습)

• BERT에서 사용한 토론토 책 말뭉치와 영어 wikipedia외 CC-News, Open WebText, Stories를 추가로 사용 (BERT:16GB, RoBERTa:160GB)

• BERT: 256 batch로 100만 단계동안 사전학습, RoBERTa: 8000 batch로 30만 단계 또는 50만 단계 동안 사전학습
• 학습 batch size르 증가하여 학습속도를 높이고 model 성능 향상

1. Token을 무작위로 masking하고 생성자에 입력
2. 입력 token을 생성자에 의해 생성한 token으로 교체하고 이를 판별자에 입력
3. 판별자는 주어진 token이 원본인지 아닌지 판단
4. 학습한 후 생성자를 제거하고 판별자를 ELECTRA model로 사용

• Cosine Embedding 손실: 교사와 학생 BERT가 출력하는 vector사이의 거리 측정. 이를 최소화하면 학생 embedding을 더 정확하게 하면서도 교사 embedding과 유사하게 표현 가능

• 어텐션 기반 증류(attention based distillation)
  • Attention 행렬에 대한 지식을 교사 BERT에서 학생 BERT로 전이. Attention 행렬에는 언어 구문, 상호 참조 정보등과 같은 유용한 정보가 포함되어 언어를 이해하는데 유용
  • 학생 Attention 행렬과 교사 BERT attention 행력간의 평균 제곱 오차를 최소화해서 학생 network학습
  • 
  • 
• 은닉상태 기반 증류(hidden state based distillation)
  • 교사의 은닉상태와 학생의 은닉상태 사이의 평균 제곱 오차를 최소화해 증류 수행 *

• 교사의 embedding layer에서 학생의 embedding layer로 지식 전달
• 학생 Embedding과 교사 Embedding 사이의 평균 제곱 오차를 최소화해서 Embedding layer증류 수행

• 교사 BERT가 생성한 최종 출력 layer의 logi값을 학생 BERT로 전달해 진행. DistilBERT의 증류 손실과 유사
• Soft target과 soft prediction 간의 cross entropy 손실을 최소화해서 예측 layer에 증류 수행

일반 증류

• 사전 학습된 대형 BERT(BERT-base)를 교사로 사용하고 증류를 수행해 지식을 작은 학생 BERT(TinyBERT)로 전달
• 증류 후 학생 BERT는 교사의 지식으로 구성되며 이렇게 사전 학습된 학생 BERT를 일반 TinyBERT라 함

태스크 특화 증류

• 특정 task를 위해 일반 TinyBERT(사전 학습된 TinyBERT)를 fine tuning
• DitilBERT와 달리 TinyBERT에서는 사전 학습 단계에서 증류를 적용하는 것 외에 fine tuning 단계에서도 증류 적용할 수 있음
• 사전 학습된 BERT-base model을 사용해 특정 task에 맞게 fine tuning한 후 이를 교사로 사용. 일반 TinyBERT는 학생 BERT
• 증류 후 일반 TinyBERT는 교사의 task특화된 지식(fine tuning된 BERT-base)으로 구성되므로 특정 task에 대해 fine tuning된 일반 TinyBERT를 fine tuning된 TinyBERT라 부름

Fine tuning 단계에서 증류를 수행하려면 일반적으로 더 많은 task별 dataset이 요구되어 data 증식 방법을 사용해 dataset 확보함

• 주어진 text에서 중요한 문장만 추출해 요약하는 고정, 많은 문장이 포함된 긴 문서에서 문서의 본질적인 의미를 담고 있는 중요한 문장만 추출해 문서의 요약을 생성

• 주어진 text를 의역(paraphrasing)해 요약을 생성. 의역이란 text의 의미를 좀 더 명확하게 나타내기 위해서 다른 단어를 사용해 주어진 text를 새롭게 표현하는 것
• 주어진 text의 의미만 지닌 다른 단어를 사용해 주어진 text를 새로운 문장으로 표현

• 사전 학습된 BERTSUM을 encoder로 활용
• trasnformer model은 encoder가 서전 학습된 BERTSUM model이지만 decoder는 무작위로 초기화되어 fine tuning중에 불일치가 발생할 수 있고, encoder가 사전학습 되었기 때문에 과적합될수 있고, decoder는 과소적합 될수 있음
• 이를 해결하기 위해 Adam optimizer를 encoder와 decoder에 각각 사용. encoder에는 학습률을 줄이고 좀더 부드럽게 감쇠하도록 설정

• 후보 요약: Machine learning is seen as a subset of artificial intelligence.
• 참조 요약: Machine learning is as subset of artificial intelligence.

• 후보 요약 unigram: machine, learning, is, seen, as, a, subset, of, artificial, intelligence
• 참조 요약 unigram: machine, learning, is, as, subset, of, artificial, intelligence
• ROUGE-1 = 8/8 =1

• 후보 요약 bigram: (machine, learning), (learning, is), (is, seen), (seen, as), (as, a), (a, subset), (subset, of), (of, artificial), (artificial, intelligence)
• 참조 요약 bigram: (machine, learning), (learning, is), (is, a), (a, subset), (subset, of), (of, artificial), (artificial, intelligence)
• ROUGE-2 = 6/7 = 0.85

• 주어진 이전 단어 set에서 현재 단어의 확률을 예측

• Token의 15%를 masking(80-10-10규칙 적용)하고 mask된 token을 예측

• 서로 다른 두 언어로서 동일한 text로 구성된 병렬 교차 언어 data를 이용해 학습
• 서로 다른 언어를 나타내기 위해서 언어 embedding을 사용하고, 두 문장 모두 별도의 위치 embedding을 사용.

• 평균 pooling: 모든 단어(token)의 의미를 가짐
• 최대 pooling: 중요한 단어(token)의 의미를 가짐