통합 요약노트
Ch.5 확률과 AI의 판단
Softmax, Temperature, Cross-Entropy — AI가 어떻게 선택하는지 배웁니다.
이 챕터의 내용
Softmax — AI는 어떻게 선택하는가?
Softmax — 임의의 숫자들을 0~1 사이의 확률 분포로 변환하는 LLM의 핵심 함수입니다.
LLM의 본질은 '다음 토큰의 확률 분포를 계산하는 것'입니다
'오늘 날씨가' → {'좋다': 35%, '나쁘다': 15%, '덥다': 12%, ...}
확률을 계산하고 샘플링하는 것이 텍스트 생성의 전부
- LLM은 다음 토큰의 확률 분포를 계산하는 확률 기계
- Softmax = logits를 확률 분포(합=1)로 변환하는 함수
- e^x로 부각 → 전체 합으로 나누기 → 확률 완성
Temperature — 창의성 조절 다이얼
Temperature — 확률 분포의 날카로움을 조절하는 하이퍼파라미터입니다.
Temperature는 확률 분포의 '날카로움'을 조절합니다
Softmax 전에 logits를 Temperature(T)로 나눕니다
T↓ = 날카로움(확정적), T↑ = 평평함(창의적)
- Temperature = 확률 분포의 날카로움 조절 다이얼
- T↓ → 확정적(greedy), T↑ → 창의적(random)
- ChatGPT API에서 temperature 파라미터로 직접 조절 가능
Cross-Entropy — AI의 성적표
Cross-Entropy — 모델의 예측이 정답과 얼마나 다른지 측정하는 LLM의 성적표입니다.
정답 확률이 높을수록 손실이 작아집니다
학습이 진행되면서 손실이 어떻게 줄어드는지 봅시다
LLM의 사전훈련 목표는 Cross-Entropy 손실을 최소화하는 것
- Softmax = logits → 확률 분포 변환 (합=1)
- Temperature = 확률 분포의 날카로움 조절 (T↓확정, T↑창의)
- Cross-Entropy = 예측과 정답의 차이 측정 (LLM의 성적표)
- LLM 학습 = Cross-Entropy 최소화 게임
핵심 용어 모음
소프트맥스
실수 벡터를 확률 분포(합=1)로 변환하는 함수
로짓
소프트맥스 적용 전 모델의 원시 출력값
학습 시
손실 함수(**Cross-Entropy**), 드롭아웃
추론 시
**Softmax**, Temperature, Top-k/Top-p
평가 시
Perplexity, BLEU, ROUGE
Temperature
확률 분포 날카로움을 조절하는 하이퍼파라미터
**T=0.1**
거의 확정적 (코딩, 수학 문제)
**T=0.5**
약간 다양 (일반 대화)
**T=1.0**
기본값 (적당한 다양성)
**T=2.0**
매우 창의적 (브레인스토밍, 시 쓰기)
크로스 엔트로피
예측 확률과 정답 사이의 차이를 측정하는 손실 함수
손실 함수
모델의 예측이 정답과 얼마나 다른지 요약하는 함수
퀴즈와 인터랙션으로 더 깊이 학습하세요
play_circle인터랙티브 코스 시작하기