Softmax — AI는 어떻게 선택하는가?

import numpy as np

def softmax(logits):
    """임의의 숫자를 확률 분포로 변환"""
    exp_vals = np.exp(logits - np.max(logits))  # 수치 안정성
    return exp_vals / np.sum(exp_vals)

# 모델이 출력한 raw 점수 (logits)
# "오늘 날씨가" 다음에 올 토큰 후보들
words = ["좋다", "나쁘다", "덥다", "춥다", "흐리다"]
logits = np.array([3.2, 1.8, 1.5, 1.0, 0.5])

probs = softmax(logits)

print("=== Softmax 결과 ===")
for word, prob in zip(words, probs):
    bar = "█" * int(prob * 40)
    print(f"  {word:4s}: {prob:.4f}  {bar}")
print(f"\n합계: {np.sum(probs):.4f}")

# Softmax 입력값 변화 실험
import math

def softmax(logits):
    max_val = max(logits)
    exps = [math.exp(x - max_val) for x in logits]
    total = sum(exps)
    return [e / total for e in exps]

words = ["맑다", "흐리다", "춥다", "덥다"]

# 시나리오별 logits 비교
scenarios = {
    "균등": [1.0, 1.0, 1.0, 1.0],
    "맑다 우세": [5.0, 1.0, 1.0, 1.0],
    "맑다 압도적": [10.0, 1.0, 1.0, 1.0],
    "맑다 vs 흐리다": [3.0, 2.8, 0.5, 0.5],
}

for name, logits in scenarios.items():
    probs = softmax(logits)
    print(f"\n[{name}] logits = {logits}")
    for w, p in zip(words, probs):
        bar = "#" * int(p * 30)
        print(f"  {w}: {p:.3f} {bar}")