딕셔너리 — 단어장 만들기

# 딕셔너리 = 키:값 쌍
vocab = {
    "안녕": 0,
    "세계": 1,
    "파이썬": 2,
    "AI": 3,
}

print(vocab["파이썬"])  # 2
print(len(vocab))       # 4

from collections import Counter

text = "나는 AI를 배운다 나는 파이썬을 배운다"
tokens = text.split()
counts = Counter(tokens)

print(counts)
# Counter({'나는': 2, '배운다': 2, 'AI를': 1, '파이썬을': 1})

print(counts.most_common(2))
# [('나는', 2), ('배운다', 2)]

from collections import Counter

corpus = ("딥러닝은 인공지능의 한 분야이다 "
    + "인공지능은 머신러닝을 포함한다 "
    + "머신러닝은 딥러닝을 포함한다 "
    + "딥러닝은 신경망을 기반으로 한다 "
    + "인공지능 연구가 활발하다")
tokens = corpus.split()
counts = Counter(tokens)

print("=== 단어 빈도 Top 5 ===")
for word, count in counts.most_common(5):
    bar = chr(9608) * count
    print(f"  {word:8s} | {bar} ({count}회)")
print(f"
총 토큰: {len(tokens)}, 고유: {len(counts)}")

from collections import Counter

corpus = "나는 AI를 배운다 나는 파이썬을 배운다 AI는 미래다"
tokens = corpus.split()
counts = Counter(tokens)
vocab = {}
vocab["<PAD>"] = 0
vocab["<UNK>"] = 1
for i, (word, _) in enumerate(counts.most_common(), start=2):
    vocab[word] = i
print("=== 어휘 사전 ===")
for word, idx in vocab.items():
    print(f"  {word:8s} → {idx}")
test = "나는 AI를 공부한다"
encoded = [vocab.get(w, vocab["<UNK>"]) for w in test.split()]
print(f"
입력: {test}")
print(f"인코딩: {encoded}")

# 딕셔너리로 단어 빈도 분석기 만들기
text = "나는 파이썬을 배운다 나는 AI를 배운다 AI는 미래다 파이썬은 도구다"
tokens = text.split()

# 방법 1: 수동으로 빈도 세기
freq = {}
for token in tokens:
    if token in freq:
        freq[token] += 1
    else:
        freq[token] = 1

print("=== 수동 빈도 분석 ===")
for word, count in sorted(freq.items(), key=lambda x: -x[1]):
    bar = "#" * (count * 5)
    print(f"  {word:8s} | {bar} ({count}회)")

# 방법 2: get() 활용 (더 깔끔)
freq2 = {}
for token in tokens:
    freq2[token] = freq2.get(token, 0) + 1

print(f"\n두 방법 결과 동일: {freq == freq2}")
print(f"총 토큰: {len(tokens)}개, 고유 토큰: {len(freq)}개")