다변수 미적분
편미분, 그래디언트, 머신러닝 경사하강법.
커피 맛은 원두량, 물 온도, 추출 시간 — 여러 변수에 동시에 달려 있다. 변수가 여러 개일 때 '각 변수가 결과에 얼마나 영향을 주는가'를 구하는 것이 편미분이다. AI가 학습하는 핵심 원리(경사하강법)가 바로 여기에 있다.
고등학교 미분은 변수가 하나(y = f(x))였다. 하지만 현실의 대부분은 여러 변수에 동시에 의존한다. 체감온도 = f(기온, 풍속), 집값 = g(면적, 역 거리, 층수). 이때 편미분은 '다른 변수를 고정하고 하나의 변수만 변화시켜 그 영향을 측정하는 것'이다.
그래디언트(∇f): 모든 편미분을 벡터로 묶은 것. ∇f = (∂f/∂x, ∂f/∂y). 이 벡터는 '함수가 가장 빠르게 증가하는 방향'을 가리킨다. 반대 방향(-∇f)으로 가면 가장 빠르게 감소한다.
| 개념 | 의미 | AI에서의 역할 |
|---|---|---|
| 편미분 ∂f/∂x | x만 변할 때 f의 변화율 | 각 가중치의 영향도 |
| 그래디언트 ∇f | 최대 증가 방향 벡터 | 오차를 줄이는 방향 |
| 경사하강법 | -∇f 방향으로 조금씩 이동 | AI 학습의 핵심 알고리즘 |
| 학습률(η) | 한 걸음의 크기 | 너무 크면 발산, 너무 작으면 느림 |
AI 학습 = 경사하강법: 신경망의 오차 함수(Loss)를 산이라 상상하자. 눈을 감고 산 아래로 내려가야 한다. 발밑의 경사(그래디언트)를 느끼고, 가장 가파른 내리막 방향으로 한 걸음씩 내딛는다. 이것이 AI가 '배우는' 방법이다.
실생활 응용: ① 딥러닝 역전파(backpropagation) ② 금융공학 옵션 가격 민감도(그릭스) ③ 로봇공학 역기구학 ④ 기상 시뮬레이션의 편미분방정식 ⑤ 강화학습 정책 경사.
f(x, y) = x²y + 3y일 때, ∂f/∂x를 구하시오.
그래디언트 ∇f는 함수가 가장 빠르게 감소하는 방향을 가리킨다.
신경망 학습에서 학습률이 너무 크면 발생하는 대표적 문제는 무엇인가?
연쇄 법칙(chain rule)이 딥러닝 역전파 알고리즘의 수학적 근간이다.