topic★★★★★난이도 · 약 20분
LLM의 작동 원리 — 토큰, 컨텍스트, 확률
토큰화, 컨텍스트 윈도우, 다음 토큰 예측, 그리고 왜 "환각"이 발생하는지.
#LLM#토큰#컨텍스트윈도우#환각#확률
왜 배우는가
AI가 확률 기반으로 다음 단어를 예측하는 기계라는 걸 이해하면, 왜 가끔 틀린 답을 하는지, 어떻게 하면 정확한 답을 유도할 수 있는지 감이 잡힌다.
LLM(Large Language Model)은 "다음에 올 가장 적절한 단어를 예측하는 기계"다. 사람처럼 '이해'하는 게 아니라, 수조 개의 텍스트에서 학습한 패턴을 바탕으로 확률이 가장 높은 토큰을 선택한다.
토큰(Token)은 LLM이 텍스트를 처리하는 최소 단위다. 영어는 대략 단어 1개 ≈ 1~2 토큰, 한글은 한 글자 ≈ 2~3 토큰이다. "안녕하세요"는 약 5~7토큰으로 쪼개진다. Claude Code의 비용도 토큰 수로 계산된다.
| 개념 | 설명 | 바이브코더에게 중요한 이유 |
|---|---|---|
| 토큰 | 텍스트의 최소 처리 단위 | 입력이 길수록 비용↑, 속도↓ |
| 컨텍스트 윈도우 | AI가 한 번에 볼 수 있는 토큰 수 | Claude: 200K 토큰(책 ~3권 분량) |
| 다음 토큰 예측 | 이전 토큰들을 보고 다음 토큰 확률 계산 | AI는 "이해"가 아니라 "예측"을 한다 |
| 환각(Hallucination) | 그럴듯하지만 사실이 아닌 답 | 확률적 예측이므로 틀릴 수 있다 |
실제 LLM은 수십억 개의 파라미터로 확률을 계산하지만, 원리는 동일하다. 이전 맥락을 보고 다음에 올 가장 적절한 토큰을 확률적으로 선택한다.
환각(Hallucination)이 발생하는 이유: AI는 "모른다"고 말하는 것보다 그럴듯한 답을 만들어내는 쪽의 확률이 높기 때문이다. 학습 데이터에 없는 내용도 패턴을 조합해서 자신 있게 답한다. 그래서 바이브코더는 AI의 답을 항상 검증해야 한다.