Ch.10 바이브코더 용어집 — AI · LLM · 개발 도구
LLM 핵심 개념
ChatGPT는 정말로 '이해'하는 걸까?
ChatGPT, Claude, Gemini — 이들은 모두 LLM(Large Language Model)입니다. 수십억~수조 개의 파라미터로 언어를 '이해'하는 것처럼 보입니다.
LLM은 어떤 원리로 자연스러운 글을 쓸 수 있을까?
LLM은 다음 단어를 예측하는 기계입니다. 이 단순한 원리로 놀라운 능력이 탄생합니다.
핵심 내용
LLM은 스마트폰 자동완성의 극한 진화입니다
이 섹션에서 배우는 모든 개념을 우리는 이미 만들어봤습니다. Ch3의 토크나이저 → Token, Ch4의 벡터 → Embedding, Ch5의 Softmax → 다음 단어 확률, Ch7의 Self-Attention → Attention. 이제 그 조각들이 어떻게 LLM이라는 거대한 퍼즐로 완성되는지 봅시다.
스마트폰 키보드의 자동완성을 떠올려보세요. '안녕' 다음에 '하세요'를 제안하죠? LLM은 이것을 수조 개의 텍스트로 훈련하여, 문장·문단·글 단위로 확장한 것입니다.
LLM, GPT, Transformer, Token, Context Window, Embedding, Attention, Pre-training, RLHF, Hallucination, Benchmark, Latency
Ch3에서 BPE 토크나이저를 직접 만들어봤죠? 그때 문장을 토큰으로 쪼개고, 딕셔너리로 숫자에 매핑했습니다. LLM이 하는 일도 정확히 같습니다 — 다만 규모가 10만 개 이상의 토큰 사전이고, 처리하는 텍스트가 인터넷 전체라는 점만 다릅니다.
LLM(Large Language Model) — 대규모 언어 모델. 수십억~수조 개의 파라미터를 가진 AI 모델입니다. GPT-4, Claude, Gemini가 대표적입니다.
GPT(Generative Pre-trained Transformer) — OpenAI의 LLM 시리즈입니다. 이름 자체가 핵심 기술을 설명합니다: 생성형(Generative) + 사전훈련(Pre-trained) + 트랜스포머(Transformer). Transformer — 2017년 구글이 발표한 신경망 구조입니다. 'Attention' 메커니즘이 핵심이며, 현재 모든 LLM의 기반입니다.
Token(토큰) — LLM이 텍스트를 처리하는 최소 단위입니다. 단어 하나가 1~3개 토큰입니다. '안녕하세요'는 2~3개 토큰, 'Hello'는 1개 토큰입니다. API 비용도 토큰 단위로 계산됩니다.
LLM = 대규모 언어 모델 (GPT, Claude, Gemini) Transformer = LLM의 기반 구조 (Attention 핵심) GPT = Generative Pre-trained Transformer Token = 텍스트 처리 최소 단위 (비용 단위)
Ch4에서 'King - Man + Woman = Queen'으로 벡터의 의미를 경험했고, Ch7에서 Attention 히트맵으로 단어 간 관련도를 시각화했습니다. 이것들이 LLM 내부에서 실제로 돌아가는 핵심 메커니즘입니다. 다만 실제 LLM의 Embedding 차원은 우리가 만든 8차원이 아니라 4,096~12,288차원이고, Context Window는 수십만 토큰에 달합니다.
Context Window(컨텍스트 윈도우) — LLM이 한 번에 볼 수 있는 토큰 수입니다. GPT-4는 128K, Claude는 200K 토큰. 작업대의 크기와 같습니다. 넓을수록 더 긴 문서를 처리할 수 있습니다.
Embedding(임베딩) — 단어를 숫자 벡터로 변환하는 것입니다. '왕'과 '여왕'의 벡터가 비슷하고, '왕'과 '자동차'는 멀리 떨어집니다. 의미를 수학적 공간에 표현하는 방법입니다.
Attention(어텐션) — '집중'입니다. '그녀가 사과를 먹었다'에서 '그녀'가 누구를 가리키는지, 문맥의 어느 부분에 집중해야 할지 계산합니다. Transformer의 핵심 메커니즘입니다.
Context Window = 한 번에 처리 가능한 토큰 수 Embedding = 의미를 숫자 벡터로 표현 Attention = 문맥에서 중요한 부분에 '집중'
Pre-training(사전훈련) — 인터넷의 대규모 텍스트로 기본 언어 능력을 학습하는 단계입니다. 수개월, GPU 수만 대, 수십억 원이 듭니다. RLHF(Reinforcement Learning from Human Feedback) — 인간의 피드백으로 모델을 개선하는 기법입니다. '이 답변이 더 좋아요'라는 평가를 학습합니다. ChatGPT를 자연스럽게 만든 핵심 기술입니다.
Hallucination(환각) — LLM이 그럴듯하지만 사실이 아닌 내용을 만들어내는 현상입니다. 존재하지 않는 논문을 인용하거나, 거짓 정보를 자신 있게 말합니다. LLM의 가장 큰 한계입니다.
Benchmark(벤치마크) — 모델 성능을 비교하는 표준 시험입니다. MMLU(지식), HumanEval(코딩), GSM8K(수학) 등이 있습니다. Latency(지연 시간) — 요청 후 첫 응답까지 걸리는 시간입니다. 작은 모델이 빠르고, 큰 모델이 느리지만 더 똑똑합니다.
Pre-training = 대규모 텍스트로 기본 학습 RLHF = 인간 피드백으로 답변 품질 향상 Hallucination = 그럴듯한 거짓말 (최대 한계) Benchmark = 모델 성능 비교 시험
LLM이 그럴듯하지만 사실이 아닌 내용을 생성하는 현상은?
Transformer의 핵심 메커니즘으로, 문맥의 중요한 부분에 집중하는 것은?
Token은 LLM이 텍스트를 처리하는 최소 단위이며, API 비용도 토큰 단위로 계산된다
인간의 '이 답변이 더 좋아요' 피드백으로 모델을 개선하는 기법은?
LLM 핵심 개념
정리 노트
LLM 핵심 개념 총정리
LLM 기본
- LLM
- 수십억~수조 파라미터의 대규모 언어 모델 (GPT, Claude, Gemini)
- Transformer
- 2017년 구글 발표. Attention 기반 신경망 구조 — 모든 LLM의 기반
- GPT
- Generative Pre-trained Transformer — 이름 자체가 핵심 기술 설명
- Token
- 텍스트 처리 최소 단위 — API 비용도 토큰 단위로 계산
내부 메커니즘
- Context Window
- LLM이 한 번에 볼 수 있는 토큰 수 (작업대의 크기)
- Embedding
- 단어를 숫자 벡터로 변환 — 의미를 수학적 공간에 표현
- Attention
- 문맥에서 중요한 부분에 집중하는 메커니즘
학습 & 한계
- Pre-training
- 대규모 텍스트로 기본 언어 능력 학습 (수개월, 수십억 원)
- RLHF
- 인간 피드백으로 답변 품질 향상 — ChatGPT를 자연스럽게 만든 기술
- Hallucination
- 그럴듯하지만 사실이 아닌 내용 생성 — LLM의 최대 한계
- Benchmark
- 모델 성능 비교 시험 (MMLU, HumanEval, GSM8K)
LLM은 '다음 토큰 예측기'입니다 — 이 단순한 원리로 놀라운 능력이 탄생합니다
핵심 정리
- 1LLM은 다음 토큰을 예측하는 대규모 모델
- 2Transformer + Attention이 핵심 구조
- 3Hallucination(환각)은 LLM의 최대 한계
퀴즈와 인터랙션으로 더 깊이 학습하세요
play_circle인터랙티브 레슨 시작