topic★★★★★난이도 · 약 20분
임베딩과 Self-Attention
단어를 벡터 공간에 배치하고, 단어 간 관계를 Q·K·V로 계산하는 핵심 메커니즘.
#임베딩#Self-Attention#벡터
왜 배우는가
"왕 - 남자 + 여자 = 여왕" — 단어를 좌표로 바꾸면 의미의 계산이 가능해진다. Self-Attention은 이 벡터들 사이의 관계를 파악하는 LLM의 '눈'이다.
은 토큰 ID를 실수 벡터로 매핑한다. 의미가 비슷한 단어는 벡터 공간에서 가까운 위치에 배치된다.
실제 LLM의 임베딩은 수백~수천 차원이지만, 원리는 동일하다. 단어의 '의미'가 숫자 벡터에 인코딩된다.
Self-Attention — 각 토큰이 다른 모든 토큰에 '얼마나 주의를 기울일지' 가중치를 계산한다. Q(Query)×K(Key)로 관련도 점수를 구하고, V(Value)로 가중 합산.
실기 드릴 1문항
edit실기 드릴 · 단답형
임베딩 벡터 연산 "왕 - 남자 + 여자"의 결과는 어떤 단어의 벡터에 가까운가?