LLM은 어떻게 작동하는가?

# 직접 실험: 토큰화가 뭔지 눈으로 보자!

sentence = "오늘 날씨가 좋아서 산책하고 싶다"

# 1단계: 띄어쓰기로 나누기
tokens = sentence.split(" ")
print("토큰:", tokens)

# 2단계: 각 토큰에 번호(ID) 부여
vocab = {}
for i, token in enumerate(tokens):
    vocab[token] = i
print("단어 사전:", vocab)

# 3단계: 문장을 숫자 배열로 변환!
token_ids = [vocab[t] for t in tokens]
print("숫자로 변환:", token_ids)

# 단어를 좌표로 바꾸면 '의미의 계산'이 가능!

embeddings = {
    "왕":   [0.9, 0.8, 0.1],
    "여왕": [0.9, 0.8, 0.9],
    "남자": [0.1, 0.3, 0.1],
    "여자": [0.1, 0.3, 0.9],
}

# 벡터 연산: 왕 - 남자 + 여자 = ?
result = [0, 0, 0]
for i in range(3):
    result[i] = (
        embeddings["왕"][i]
        - embeddings["남자"][i]
        + embeddings["여자"][i]
    )

print(f"왕 - 남자 + 여자 = {result}")
print(f"여왕 임베딩:       {embeddings['여왕']}")
print("거의 같다! 의미의 계산 성공!")

# Temperature로 확률 분포를 조절해보자!
import math

def softmax_temp(logits, temperature=1.0):
    scaled = [x / temperature for x in logits]
    max_s = max(scaled)
    exps = [math.exp(x - max_s) for x in scaled]
    total = sum(exps)
    return [e / total for e in exps]

logits = [2.0, 1.0, 0.5, 0.1, -0.5]
words  = ["좋아요", "맑아요", "화창해", "괜찮아", "우주급"]

for temp in [0.2, 0.7, 1.0, 1.5]:
    probs = softmax_temp(logits, temp)
    print(f"Temperature = {temp}")
    for w, p in zip(words, probs):
        bar = "#" * int(p * 30)
        print(f"  {w:6s} {p:.1%} {bar}")
    print()