LLM 핵심 개념

LLM은 스마트폰 자동완성의 극한 진화입니다

이 섹션에서 배우는 모든 개념을 우리는 이미 만들어봤습니다. Ch3의 토크나이저 → Token, Ch4의 벡터 → Embedding, Ch5의 Softmax → 다음 단어 확률, Ch7의 Self-Attention → Attention. 이제 그 조각들이 어떻게 LLM이라는 거대한 퍼즐로 완성되는지 봅시다.

스마트폰 키보드의 자동완성을 떠올려보세요. '안녕' 다음에 '하세요'를 제안하죠? LLM은 이것을 수조 개의 텍스트로 훈련하여, 문장·문단·글 단위로 확장한 것입니다.

Ch3에서 BPE 토��나이저를 직접 만들어봤죠? 그때 문장을 토큰으로 쪼개고, 딕셔너리로 숫자에 매핑했습니다. LLM이 하는 일도 정확히 같습니다 — 다만 규모가 10만 개 이상의 토큰 사전입니다.

LLM(Large Language Model) — 대규모 언어 모델. 수십억~수조 개의 파라미터를 가진 AI 모델입니다.

GPT(Generative Pre-trained Transformer) — OpenAI의 LLM 시리즈입니다. 생성형(Generative) + 사전훈련(Pre-trained) + 트랜스포머(Transformer). Transformer — 2017년 구글이 발표한 신경망 구조입니다. 'Attention' 메커니즘이 핵심입니다.

Token(토큰) — LLM이 텍스트를 처리하는 최소 단위입니다. API 비용도 토큰 단위로 계산됩니다.

Ch4에서 'King - Man + Woman = Queen'으로 벡터의 의미를 경험했고, Ch7에서 Attention 히트맵으로 단어 간 관련도를 시각화했습니다.

Context Window(컨텍스트 윈도우) ��� LLM이 한 번에 볼 수 있는 토큰 수입니다. GPT-4는 128K, Claude는 200K 토큰.

Embedding(임베딩) — 단어를 숫자 벡터로 변환하는 것입니다. 의미를 수학적 공간에 표현하는 방법입니다.

Attention(어텐션) — '집중'입니다. 문맥의 어느 부분에 집중해야 할지 계산합니다. Transformer의 핵심 메커니즘입니다.

Pre-training(사전훈���) — 인터넷의 대규모 텍스트로 기본 언어 능력을 학습하는 단계입니다. RLHF(Reinforcement Learning from Human Feedback) — 인간의 피드백으로 모델을 개선하는 기법입니다. ChatGPT를 자연스럽게 만든 핵심 기술입니다.

Hallucination(환각) — LLM이 그럴듯하지만 사실이 아닌 내용을 만들어내는 현상입니다. LLM의 가장 큰 한계입니다.

Benchmark(벤치마크) — 모델 성능을 비교하는 표준 시험입니다. Latency(지연 시간) — 요청 후 첫 응답까지 걸리는 시간입니다.