Ch.6 미적분 — AI가 스스로 배우는 원리
미분이란? — 변화의 속도
1750억 개의 파라미터를 사람이 정할 수는 없다
AI 모델은 기울기(gradient)를 계산해서, 손실이 줄어드는 방향으로 파라미터를 자동으로 조정합니다. 이 과정의 수학적 기반이 미적분입니다.
기울기가 '학습 방향'을 알려준다는 게 무슨 뜻일까?
미분 — 함수가 어느 방향으로 변하는지 알려주는 도구입니다. AI 학습의 시작점이죠.
핵심 개념
미분
함수의 순간 변화율(기울기)을 구하는 연산
경사하강법
손실 함수의 기울기를 따라 파라미터를 조정하는 알고리즘
핵심 내용
미분은 '이 지점에서 함수가 얼마나 빠르게 변하는가'입니다
y = x²에서 x=3일 때 기울기는 6(가파르게 증가), x=0일 때 기울기는 0(최저점). LLM 학습의 핵심 질문: '손실 함수의 기울기가 0인 지점(최저점)은 어디인가?'
미분(Derivative), 기울기(Gradient), 손실 함수(Loss Function)
LLM 개발에서의 미적분 위치: [손실 계산] → [역전파: 각 파라미터의 기울기 계산] → [파라미터 업데이트] ↑ 편미분 / 체인룰 ↑ 경사하강법
Python으로 손실 함수의 기울기를 직접 계산해봅시다
import numpy as np
def numerical_gradient(f, x, h=1e-5):
"""함수 f의 x에서의 기울기를 수치적으로 계산"""
return (f(x + h) - f(x - h)) / (2 * h)
# 간단한 손실 함수: L(w) = (w - 3)²
# → 최적값은 w=3일 때 (손실=0)
def loss_function(w):
return (w - 3) ** 2
print("=== 기울기가 알려주는 방향 ===\n")
for w in [0, 1, 2, 3, 4, 5]:
grad = numerical_gradient(loss_function, w)
loss = loss_function(w)
if grad < -0.01:
direction = "→ w를 키워야 (오른쪽)"
elif grad > 0.01:
direction = "→ w를 줄여야 (왼쪽)"
else:
direction = "→ ★ 최적점 도달!"
print(f" w={w}: 손실={loss:.1f}, 기울기={grad:+.2f} {direction}")손실 함수에서 기울기가 음수(-)라면 w를 어떻게 해야 할까요?
손실 함수의 기울기가 0인 지점은 항상 최적점(최솟값)이다.
y = x²에서 x=3일 때 수치 미분으로 구한 기울기에 가장 가까운 값은?
다음 수치 미분 코드의 빈칸을 채우세요. def numerical_diff(f, x, h=1e-4): return (f(x+h) - f(x-h)) / (2*___)
(f(x+h) - f(x-h)) / (2*___)
미분에서 h를 너무 작게 설정하면 (예: 1e-15) 정확도가 더 높아진다.
미분의 직관
핵심 용어
미분
함수의 순간 변화율(기울기)을 구하는 연산
경사하강법
손실 함수의 기울기를 따라 파라미터를 조정하는 알고리즘
정리 노트
미분 — 변화의 속도를 읽는 도구
핵심 개념
- 미분
- 함수의 순간 변화율(기울기)을 구하는 연산
- 수치 미분
- (f(x+h) − f(x−h)) / 2h 로 기울기를 근사 계산
- 손실 함수
- 모델의 예측과 정답 사이의 오차를 수치화한 함수
기울기와 학습 방향
- 기울기 음수(−)
- w를 키워야 손실이 줄어듦 (오른쪽 이동)
- 기울기 양수(+)
- w를 줄여야 손실이 줄어듦 (왼쪽 이동)
- 기울기 = 0
- 최적점 도달 (최솟값, 최댓값, 또는 안장점)
기울기의 부호가 이동 방향을, 크기가 변화 속도를 알려준다
시각 자료
핵심 정리
- 1미분 = 함수의 변화율(기울기)을 계산하는 도구
- 2기울기의 부호가 이동 방향을, 크기가 변화 속도를 알려줌
- 3손실 함수의 기울기=0인 지점이 최적 파라미터
퀴즈와 인터랙션으로 더 깊이 학습하세요
play_circle인터랙티브 레슨 시작