통합 요약노트

Ch.6 미적분 — AI가 스스로 배우는 원리

미분, 경사하강법, 역전파 — AI의 학습 메커니즘을 이해합니다.

이 챕터의 내용

미분 — 함수가 어느 방향으로 변하는지 알려주는 도구입니다. AI 학습의 시작점이죠.

미분은 '이 지점에서 함수가 얼마나 빠르게 변하는가'입니다

y = x²에서 x=3일 때 기울기는 6(가파르게 증가), x=0일 때 기울기는 0(최저점). LLM 학습의 핵심 질문: '손실 함수의 기울기가 0인 지점(최저점)은 어디인가?'

미분(Derivative), 기울기(Gradient), 손실 함수(Loss Function)

경사하강법 — 기울기 반대 방향으로 파라미터를 조금씩 업데이트하여 손실을 최소화합니다.

새 파라미터 = 현재 파라미터 - 학습률 × 기울기

손실 함수에서 w=0으로 출발해 최적점 w=3을 찾아봅시다

학습률 선택이 결과를 크게 바꿉니다

역전파(Backpropagation) — 체인 룰로 출력에서 입력 방향으로 기울기를 전달하는 알고리즘입니다.

겹겹이 쌓인 함수의 미분은 '체인'처럼 연결됩니다

간단한 네트워크에서 역전파를 직접 실행합니다

PyTorch의 loss.backward()가 역전파를 자동으로 해줍니다

key

📐

함수의 순간 변화율(기울기)을 구하는 연산

⛰️

손실 함수의 기울기를 따라 파라미터를 조정하는 알고리즘

🎚️

한 번에 파라미터를 얼마나 변경할지 정하는 값

🔙

출력→입력 방향으로 오차를 전파하며 기울기를 계산

⚡

PyTorch의 자동 미분 엔진

퀴즈와 인터랙션으로 더 깊이 학습하세요