chapter★★★★★난이도 · 약 60분
확률과 AI의 판단
Softmax로 확률 분포를 만들고, Temperature로 창의성을 조절하고, Cross-Entropy로 성적을 매긴다.
#Softmax#Temperature#Cross-Entropy#확률
왜 배우는가
LLM의 본질은 '다음 토큰의 확률 분포를 계산하는 것'이다. Softmax가 logits를 확률로 바꾸고, Temperature가 분포의 날카로움을 조절하고, Cross-Entropy가 학습의 성적표가 된다. 확률 없이는 AI의 텍스트 생성을 이해할 수 없다.
Topics · 03
레슨 단위로 펼쳐 보기
- TOPIC · 07 · 01★★
Softmax — AI는 어떻게 선택하는가?
Softmax 함수는 임의의 숫자(logits)를 0~1 사이의 확률 분포(합=1)로 변환한다.
20min·5drillsREAD → - TOPIC · 07 · 02
Temperature — 창의성 조절 다이얼
Temperature가 낮으면 확정적(greedy), 높으면 창의적(random). 확률 분포의 날카로움을 조절한다.
20min·4drillsREAD → - TOPIC · 07 · 03★★
Cross-Entropy — AI의 성적표
Cross-Entropy 손실 = −log(정답 확률). 정답 확률이 높을수록 손실이 작아진다.
20min·5drillsREAD →
