미분이란? — 변화의 속도
미분은 '이 지점에서 함수가 얼마나 빠르게 변하는가'를 계산하는 도구이다.
AI 모델은 기울기(gradient)를 계산해서, 손실이 줄어드는 방향으로 파라미터를 자동으로 조정한다. 이 과정의 수학적 기반이 미적분이다. 기울기가 '학습 방향'을 알려준다는 것이 핵심이다. 미분 — 함수가 어느 방향으로 변하는지 알려주는 도구이다.
미분은 '이 지점에서 함수가 얼마나 빠르게 변하는가'입니다
| 용어 | 설명 |
|---|---|
| 미분 | 함수의 순간 변화율(기울기)을 구하는 연산 |
| 경사하강법 | 손실 함수의 기울기를 따라 파라미터를 조정하는 알고리즘 |
y = x²에서 x=3일 때 기울기는 6(가파르게 증가), x=0일 때 기울기는 0(최저점). LLM 학습의 핵심 질문: '손실 함수의 기울기가 0인 지점(최저점)은 어디인가?'
미분(Derivative), 기울기(Gradient), 손실 함수(Loss Function)
LLM 개발에서의 미적분 위치: [손실 계산] → [역전파: 각 파라미터의 기울기 계산] → [파라미터 업데이트] ↑ 편미분 / 체인룰 ↑ 경사하강법
Python으로 손실 함수의 기울기를 직접 계산해봅시다
중앙 차분법 (f(x+h)-f(x-h))/2h로 기울기를 계산한다. 기울기가 음수면 w를 키우고, 양수면 줄여야 손실이 감소한다.
| 핵심 개념 | 설명 |
|---|---|
| 미분 | 함수의 순간 변화율(기울기)을 구하는 연산 |
| 수치 미분 | (f(x+h) − f(x−h)) / 2h 로 기울기를 근사 계산 |
| 손실 함수 | 모델의 예측과 정답 사이의 오차를 수치화한 함수 |
| 기울기와 학습 방향 | 설명 |
|---|---|
| 기울기 음수(−) | w를 키워야 손실이 줄어듦 (오른쪽 이동) |
| 기울기 양수(+) | w를 줄여야 손실이 줄어듦 (왼쪽 이동) |
| 기울기 = 0 | 최적점 도달 (최솟값, 최댓값, 또는 안장점) |
기울기의 부호가 이동 방향을, 크기가 변화 속도를 알려준다
손실 함수에서 기울기가 음수(-)라면 w를 어떻게 해야 할까요?
손실 함수의 기울기가 0인 지점은 항상 최적점(최솟값)이다.
y = x²에서 x=3일 때 수치 미분으로 구한 기울기에 가장 가까운 값은?
수치 미분 코드의 빈칸: (f(x+h) - f(x-h)) / (2*___)
미분에서 h를 너무 작게 설정하면(예: 1e-15) 정확도가 더 높아진다.