🤖 Transformer

• 대규모 언어 모델의 가장 일반적인 아키텍처 (www.elastic.co)
  • 대규모 언어 모델(LLM): 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 딥러닝 알고리즘 (= 초거대언어모델)
  • LLM ⊃ Transformer ⊃ BERT, GPT, ...
• 영향력
  • 기계 번역, 질의응답, 텍스트 생성 등 광범위한 분야에서 State-of-the-Art 달성
  • 이미지, 음성 등 멀티모달(Multimodal) AI로 확장
  • 연구 및 산업 현장에서 사실상 표준 아키텍처로 자리 잡음

🔶 등장 배경

• RNN, LSTM 기반 모델의 한계
  • 장기 의존성(Long-term dependencies) 문제
  • 순차 처리로 인해 병렬화가 어려움
  • 텍스트 길이가 길어질수록 학습 효율과 성능 저하
• Attention 매커니즘의 등장
  • 특정 시점의 입력에 집중(가중치 부여)
  • 번역(Sequence-to-Sequence) 문제에서 성능 향상
  • 병렬 처리 가능 → 학습 속도 및 효율 개선
• Attention Is All You Need (2017)
  • Google Brain 팀의 논문
  • 완전한 Attention 구조만으로 RNN·CNN 없이도 우수한 성능 달성
  • Self-Attention 을 통한 문맥 이해와 병렬 처리 극대화

🔸 Sequence-to-Sequence 모델 등장 (2014)

• 주요 인물: Sutskever, Vinyals, Le (RNN 인코더-디코더 기반)
• 다층 LSTM으로 입력 시퀀스를 고정 길이 벡터로 인코딩 후, LSTM 디코더로 디코딩
• 최초로 end-to-end 학습을 통한 기계번역 시도
• Cho 등: GRU 제안 → 게이트 매커니즘으로 장기 의존성 문제 완화

🔸 Attention 매커니즘 도입 (2015)

• 주요 인물: Bahdanau, Cho, Bengio
• RNN 기반 모델에 Attention 도입
• 인코더의 은닉 상태를 가중합산해 디코더가 동적으로 컨텍스트 벡터 계산
• 번역 품질 및 정보 집중력 향상

🔸 Transformer 등장 (2017)

• 주요 인물: Vaswani 등 (구글)
• "Attention Is All You Need" 논문 발표
• Self-Attention, Multi-Head Attention, 포지셔널 인코딩 도입
• RNN/CNN 대체 → 병렬 처리, 빠른 학습, 긴 문장에서도 우수한 성능
• 이후 BERT, GPT 등 대규모 모델의 토대 마련

🔶 구조

• 인코더(Encoder): 입력 시퀀스의 특징 추출
• 디코더(Decoder): 인코더 정보를 활용해 출력 시퀀스 생성
• Multi-Head Attention, Position-wise Feed Forward 등 모듈로 구성

🔶 모델

• BERT (2018): 양방향 학습으로 문맥 이해 강화
• GPT: 생성(Generative) 모델 분야 혁신
• T5, RoBERTa, XLNet 등 다양한 변형·개선 모델 등장

🤖 BERT

• Bidirectional Encoder Representations from Transformers
• 자연어이해(NLU)에 특화
• 트랜스포머의 인코더 구조를 그대로 답습
• 기존의 언어 모델: 대부분 단방향적인 학습 (왼쪽에서 오른쪽으로 또는 그 반대로만 텍스트를 읽음)
• BERT는 주변의 문맥 정보를 앞뒤 양방향에서 동시에 파악하므로, 단어나 구문의 정확한 의미를 더 잘 이해할 수 있음
• 모델 학습 과정에서 마스크된 언어 모델링(Masked Language Modeling) 방식을 사용
  • 텍스트의 일부 단어를 무작위로 가리고(Mask), 그 마스크된 단어를 예측하는 형태
• 트랜스포머와 동일하게 미세조정(fine-tuning)을 통해 다양한 자연어 처리 태스크에서 뛰어난 성능
• 질문 응답(QA) 시스템, 감정 분석, 개체명 인식(NER) 등
• 매개변수(parameter): BERT의 기본 모델인 BERT-base는 약 1.1억 개, 성능을 극대화한 BERT-large는 약 3.4억 개
• GPT가 커버하지 못하는 문맥 파악 관련 태스크를 수행

🤖 GPT

• Generative Pre-trained Transformer
• 자연어생성(NLG)에 특화
• Transformer 아키텍처 중 디코더(decoder) 부분만을 활용하여 구축
• 주어진 입력 텍스트에 대해 적절한 다음 텍스트(또는 단어)를 예측하는 데 특화된 모델
• 2022년 11월 OpenAI에서 발표한 챗GPT의 기초 모델인 GPT-3.5의 뼈대가 되는 언어 모델
• 초거대언어모델(LLM)과 생성형 인공지능이라는 트렌드를 주도
• 대량의 텍스트 데이터를 사용해 사전학습(pre-training)을 진행 -> 특정 태스크에 대해 미세 조정(fine-tuning)을 적용하여 커스터마이징
  • 다양한 자연어 처리 태스크에서 뛰어난 성능
• 대화형 시스템, 스토리 생성, 텍스트 완성 등
• OpenAI: 2018년 GPT-1을 시작으로 매년 GPT를 기반 자사의 기초모델 시리즈를 발표
  • 매개변수(parameter)를 늘리거나 학습용 텍스트 데이터셋을 다양화

GPT-1

• 발표 연도: 2018년 (OpenAI)
• 파라미터 수: 약 1.17억 개
• 모델 구조: Transformer기반, 12개 디코더 레이어
• 학습 데이터: BookCorpus(약 7,000권, 4.5GB의 텍스트)
• 주요 성과: Zero-shot 학습의 가능성 제시

GPT-2

• 발표 연도: 2019년 (OpenAI)
• 파라미터 수: 약 15억 개 (GPT-1 대비 10배 증가)
• 학습 데이터: WebText (약 45만 웹페이지, 40GB 텍스트)
• 주요 특징: 모델 규모 확장으로 다양한 자연어 처리(NLP)작업 성능 향상

GPT-1과 GPT-2 비교

• 공통점: Transformer 디코더 기반 구조
• 차이점: GPT-2는 더 깊고 넓은 구조로 표현력 강화, 데이터 크기 증가로 일반화 능력 향상

GPT-3 모델

• 발표 연도: 2020년 (OpenAI)
• 파라미터 수: 약 1,750억 개 (GPT-2 대비 약 100배 증가)
• 학습 데이터: Common Crawl, Wikipedia 등 수백 GB의 데이터
• 주요 특징
  • Few-shot 및 Zero-shot 학습에서 뛰어난 성능 발휘
  • 대규모 Transformer 디코더 구조
  • 스케일 증가로 인한 맥락 이해 능력 강화
• 응용 사례: 창의적인 텍스트 생성, 질문-답변, 자동 번역, 코드 생성

🔶 대규모 모델 학습의 기술적 한계점

• 계산 자원의 한계
  • GPT-3 모델 학습에 수천 개의 GPU 및 TPU 필요
  • 막대한 전력 소모 및 비용 부담 (수백만 달러 단위의 학습 비용)
• 메모리 관리 문제
  • 파라미터 규모(수백억~수천억)로 인한 GPU 메모리 한계 초과 문제
  • 단일 GPU에서 모든 파라미터를 처리하기 어려움

🔶 기술적 해결 방안

• 분산 학습 (Distributed Training)
  • 여러 GPU에 모델 파라미터를 나누어 저장하는 병렬 처리 기법
  • 예: Data Parallelism, Model Parallelism, Pipeline Parallelism
• 효율적 최적화 기법
  • Mixed-precision 학습 (FP16 사용하여 메모리 절감)
  • Gradient Accumulation (점진적 기울기 계산으로 메모리 부담 완화)
  • Checkpointing 및 최적화 기법 활용

🔶 성과

• 자연어 생성 및 이해 능력 향상
  • 사람과 유사한 자연스러운 문장 생성 가능
  • 문맥 기반의 높은 수준의 질문-답변, 번역, 요약 성능
• 다양한 응용 분야 확장
  • 대화형 인공지능(ChatGPT), 자동 코드 생성(Codex)
  • 콘텐츠 생성, 고객 서비스 자동화, 창의적 글쓰기

🔶 한계점

• 경제적 비용
  • 대규모 모델의 높은 학습 및 운영 비용 문제
  • 중소기업 및 연구 기관에서는 접근성 제한
• 모델 및 데이터의 편향성(Bias)
  • 학습 데이터에 내재된 편견으로 인한 편향된 결과물 생성 가능성
  • 성별, 인종, 정치적 편향 등 사회적 이슈에 민감한 결과 생성 위험
• 윤리적 문제
  • 생성된 가짜 뉴스나 허위 정보 확산 위험성
  • AI가 생성한 콘텐츠의 법적, 윤리적 책임 문제 대두

🤖 Self-Attention(셀프 어텐션)

• 정의
  • 입력 시퀀스 내 각 단어가 모든 단어들과 상호 참조(Attention)
  • 중요한 단어(정보)에 가중치를 부여하는 매커니즘
  • Long-Range Dependencies(장거리 의존성) 해결, 병렬 연산 가능
• 초기의 어텐션 매커니즘
  • Query와 Key는 서로 다른 데이터 소스에서 가져옴
  • 서로 다른 정보인 Query와 Key로부터 Attention Score를 계산
  • 예: 기계 번역 작업에서 키는 한 언어의 텍스트 코퍼스에서, 쿼리는 다른 언어에서 가져옴 / 음성 인식 작업에서 쿼리는 오디오 데이터이고 키는 해당 오디오를 전사하기 위한 텍스트 데이터임
• Self-Attention(셀프 어텐션)
  • Query, Key, Value 모두 동일한 소스에서 가져옴
  • Matrix Multiplication 연산을 통해 정보를 모두 참고하여 Attention Score를 계산
  • 정보 전체의 문맥을 고려하여 가중치를 계산 (ffighting.net)

RNN 순차처리의 한계

• 긴 문장, 장기 의존성 문제
• Self-Attention: 모든 단어 간 관계를 동시에 고려
• Self-Attention은 단어 순서에 따른 의미 변화 포착에 유리(맥락적 동적 파악)

🔶 Attention

• 딥러닝 모델이 입력 데이터에서 가장 관련성이 높은 부분에 우선순위를 부여(또는 주의)하도록 지시하는 머신러닝 기법 (www.ibm.com)
• 작업에 대한 입력 시퀀스의 각 부분의 상대적 중요성을 반영하는 어텐션 가중치를 계산 -> 해당 어텐션 가중치를 적용하여 입력의 각 부분의 영향력을 각각의 중요도에 따라 증가(또는 감소)시킴
• 주로 LLM과 관련 있음 (요약, 질문 답변, 텍스트 생성 및 감정 분석과 같은 자연어 처리(NLP) 작업에 사용)

🔶 Query, Key, Value (Q,K,V)

• Query(Q): 현재 관심을 기울이는 대상 벡터
  • 예: 검색창에 입력한 질의어에 해당
• Key(K): 각 단어(토큰)의 식별 벡터(정보 제목) / Query와 얼마나 관련있는지(score) 판단에 쓰임
• Value(V): 실제 정보(내용) 벡터/ Attention 스코어로 가중합할 값으로 사용
• Q와 K의 내적으로 유사도(AttentionScore) 계산 → V 가중합 반영

🤖 용어 정리

🔶 Dependencies

• 멀리 떨어진 입력 간의 관계(의존성)
• 민지는 학교에 갔고, 5시간 후에 그녀는 집에 돌아왔다.
  • 그녀가 민지를 지칭하는 걸 이해하려면, 멀리 떨어진 단어들 간의 관계를 파악할 수 있어야 함

🔸 Long-Term Dependencies

• 시간(Time) 관점에 가까움 -> 예전 상태(state) 정보가 얼마나 오래 유지되는가
• 사용 분야: RNN, LSTM 같은 시계열 모델
• 예시: 예전 문장의 의미를 몇 시점 뒤까지 기억하는 능력

🔸 Long-Range Dependencies

• 위치(Position) 혹은 거리 관점 -> 떨어져 있는 두 단어/요소 간 관계를 얼마나 잘 포착하는가
• 사용 분야: Transformer, Attention 모델 등
• 예시: 입력 문장 내 멀리 떨어진 단어 간 관계를 인식하는 능력

🔶 pre-training(사전 학습)

• 목적: 언어의 일반적인 패턴, 문법, 문맥 정보를 학습
• 방법: 대규모 텍스트 데이터셋(예: BookCorpus, CommonCrawl) 사용
• Auto-regressive 방식으로 다음 토큰 예측 (예시: "이 문장은 ..." 이후 단어 예측)

🔶 fine-tuning

• 사전 학습된 모델을 특정 작업(질문 답변, 번역, 요약 등)에 맞게 추가 학습
• 효과: 모델이 특정 도메인이나 과제에 최적화되어 성능 향상
• 예시: ChatGPT, Codex 등 응용 사례

🔶 Auto-regressive

• Auto-regressive 모델의 원리: 이전의 모든 토큰(문맥)을 바탕으로 다음 토큰을 순차적으로 예측
  • 예: 언어 모델에서 문장이나 단어 시퀀스를 순차적으로 생성
• Auto-regressive 방식 덕분에 GPT는 다양한 자연어 생성 작업에서 뛰어난 성능을 보이며, pre-training과 fine-tuning을 통해 다목적 응용에 유연하게 대응

🔸 학습 방법

• Teacher Forcing 방식
  • 실제 정답(ground truth) 토큰을 입력으로 제공하며 학습
  • 장점: 빠른 학습 및 안정적 수렴 가능
  • 단점: 학습과 실제 생성 과정의 차이 발생 가능성 존재
• 출력 분포와 Softmax 함수
  • 모델은 출력 층에서 Softmax 함수를 통해 다음 단어의 확률 분포를 예측
  • 가장 확률이 높은 단어가 선택됨

🔸 샘플링 기법

• Greedy Decoding
  • 매 단계 가장 높은 확률의 단어 선택
  • 장점: 빠르고 간단
  • 단점: 단조롭고 다양성 부족한 문장 생성
• Beam Search
  • 동시에 여러 후보 문장을 유지하면서 생성
  • 장점: 더 나은 품질의 문장 생성 가능
  • 단점: 계산 비용 증가, 반복 문제 발생 가능성 있음
• Top-k, Top-p (Nucleus) 샘플링
  • 확률 분포 내 상위 후보에서 무작위로 선택
  • 장점: 다양하고 창의적인 문장 생성 가능
  • 단점: 때때로 일관성이 떨어질 수 있음

🔸 장점

• 자연스럽고 일관된 텍스트 생성 가능
• 문맥에 따른 조건부 예측으로 높은 유창성 제공
• Few-shot, Zero-shot 학습에서 뛰어난 응용성
  • 소량의 데이터나 설명만으로도 특정 작업 수행 가능 (GPT-3 사례)

🔸 단점

• 긴 문장 생성 시 누적 오류 발생 가능 (반복 및 정보 누락 문제)
• 생성 과정 순차적 예측으로 인한 계산 비용 증가 (병렬 처리 어려움)

🔸 주요 응용 분야

• 창의적인 텍스트 생성 (스토리, 마케팅 콘텐츠)
• 대화형 AI서비스 (챗봇, 고객 서비스 등)
• 자동 번역, 코드 자동 생성, 요약 서비스

응용 사례

• ChatGPT: 대화형 응용 사례 (일상 대화, 고객 응대 등)
• Codex (GitHub Copilot): 자동 코드 생성 및 프로그래밍 지원 사례
• 콘텐츠 제작: 블로그, 마케팅 콘텐츠 자동화 사례 등

🔶 ZSL(Zero-Shot Learning, 제로샷 학습)

• 사전에 해당 카테고리나 개념의 예제를 보지 않고도 객체나 개념을 인식하고 분류하도록 AI 모델을 학습시키는 머신 러닝 시나리오 (www.ibm.com)
• 기계 학습의 한 분야로, 모델이 학습 과정에서 본 적이 없는 새로운 클래스를 인식할 수 있도록 하는 기술 (wikidocs.net)