ai basics - modrpc/info GitHub Wiki

Table of Contents 신경망 내부의 데이터 경로 제어 메커니즘 (Vector Steering) 1. 입력의 벡터화 및 임베딩 공간 (Embedding Space) 2. 어텐션 메커니즘을 통한 'Key'의 생성 3. 선형 변환을 통한 경로 유도 (Vector Steering) 4. 동적 바이어스(Dynamic Bias)의 적용 5. 요약: 물리적 연산 흐름 6. 결론

본 문서는 텍스트 명령어가 어떻게 고정된 가중치($W$) 위에서 실시간 제어 신호(Key)로 작동하여 데이터의 흐름을 바꾸는지 설명한다.

사용자의 입력은 고차원 공간상의 좌표로 변환된다.

• 토큰화 (Tokenization): 문장을 최소 의미 단위로 분할.
• 벡터 투영: 각 토큰은 수천 차원의 벡터로 변환됨.
• 수식:

<math>e = \text{Embedding}(token)</math>

입력된 명령어는 하드웨어의 레지스터 패치와 같은 역할을 하며, KV Cache에 저장된다.

• KV Cache 상주: 명령어 "From now on use HJJ"에서 추출된 특징이 Key($K$) 벡터가 되어 임시 메모리에 저장됨.
• 색인화: 특정 입력(Query)이 들어왔을 때 어디를 참조할지 결정하는 기준점이 됨.

실제 연산 시 $Q$와 $K$의 유사도를 계산하여 데이터 통로를 결정한다.

• 유사도 계산: 입력 Query($Q$)와 캐시된 Key($K$)의 내적(Dot Product) 연산.
• 수식 (Attention Core):

<math>\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V</math>

• 엔지니어링 포인트: 내적값이 높을수록 해당 경로의 게이트가 열리며, 특정 정보(Value)가 증폭됨.

명령어는 기존 선형 결합에 조건부 바이어스를 추가하는 것과 같다.

• 기본 상태:

<math>y = Wx + b</math>

• 명령어 개입 시:

<math>y = Wx + (b + \mathbf{c}_{HJJ})</math>

• 효과: 제어 벡터 $\mathbf{c}_{HJJ}$가 기존 출력 방향을 새로운 좌표축(HJJ의 정의)으로 비틂(Steering).

단계	연산 성격	하드웨어적 비유
1. Fetch	Embedding	설계도 로딩 (Input Vectors)
2. Store	KV Caching	제어 레지스터 설정 (Patch Key)
3. Match	Dot Product	CAM (Content-Addressable Memory) 검색
4. Execute	Weighted Sum	데이터 경로 리다이렉션 (Steering)

명령어 텍스트는 고정된 가중치(ROM)를 수정하지 않고, 어텐션 레이어의 내적 연산을 통해 데이터가 흐르는 중력장을 실시간으로 재구성하는 소프트웨어적 제어 신호이다.