최적화

AI가 고양이를 배우는 과정: 1회차 → 1% 정확도 100회차 → 50% 1000회차 → 95%!

AI가 고양이를 배우는 과정을 단계별로 봅시다. 처음에는 완전히 틀리지만, 오차를 줄이는 방향으로 반복하면 점점 정확해집니다.

AI는 오답을 줄이면서 학습한다 — 이 과정이 바로 최적화

볼록 함수 = 밥그릇 모양. 최솟값이 딱 하나 → 어디서 시작해도 도착!

함수의 모양(지형)에 따라 경사하강법의 성공 여부가 달라집니다. 크게 세 가지 지형이 있습니다.

함수의 모양에 따라 최적화 난이도가 달라진다

f(x) = x²일 때, f'(x) = 2x 현재 위치 x=4, 학습률 α=0.1 새 위치 = x - α·f'(x)

새 위치 = 4 - 0.1 × 2(4) = 4 - 0.8 = ?

x=3.2에서 한 번 더! f'(3.2) = 2(3.2) = 6.4

새 위치 = 3.2 - 0.1 × 6.4 = ?

학습률 α=0.6, x=4에서 시작

x - 0.6 × 2(4) = 4 - 4.8 = -0.8 다음 스텝: -0.8 - 0.6 × 2(-0.8) = -0.8 + 0.96 = 0.16 이 패턴은?

AI가 고양이를 학습 중이다. α = 0.001일 때 1000번 만에 수렴했다. α를 10으로 바꾸면?

학습률 α를 0.001에서 10으로 크게 바꾸면 어떻게 될까?

예산이 100만원으로 제한될 때 최대 만족을 얻으려면?

예산이 정해진 상태에서 최대 만족을 얻으려면 어떻게 해야 할까요? 라그랑주 승수법의 4단계를 봅시다.

예산 안에서 최대 만족을 얻으려면? 제약 조건이 있는 최적화!

최적화 = '최선의 선택'을 수학으로 찾는 기술

경사하강법에서 이동 방향은?

최적화의 핵심 원리를 마스터했습니다!