Ch.1 AI와 프로그래밍의 만남

GPU vs CPU — AI 칩의 세계

CPU와 GPU의 차이를 비유로 설명한다AI 학습에 GPU가 필수인 이유를 이해한다

같은 칩인데 왜 GPU가 AI에 더 좋을까?

GPT-4 학습에는 GPU 25,000개가 사용되었습니다. 왜 CPU가 아닌 GPU를 쓸까요?

CPU는 만능인데, 왜 AI에는 부족할까?

교수 1명 vs 학생 수천 명 — 문제의 종류에 따라 답이 다릅니다.

article

핵심 내용

CPU와 GPU, 무엇이 다를까?

최첨단 AI 칩의 놀라운 스펙

CPU(순차)와 GPU(병렬)의 속도 차이를 코드로 체감합니다

# CPU(순차) vs GPU(병렬) 속도 비교!
import time

numbers = list(range(1, 10001))

# ── CPU 방식: 하나씩 순차 처리 ──
start = time.time()
cpu_result = []
for n in numbers:
    cpu_result.append(n * n)  # 하나씩 제곱
cpu_time = time.time() - start

# ── GPU 방식: 한꺼번에 병렬 처리 (시뮬레이션) ──
start = time.time()
gpu_result = [n * n for n in numbers]  # 리스트 컴프리헨션 = 병렬 느낌
gpu_time = time.time() - start

print("📊 10,000개 숫자 제곱 계산")
print(f"  🧠 CPU (순차): {cpu_time*1000:.2f}ms")
print(f"  ⚡ GPU (병렬): {gpu_time*1000:.2f}ms")
print(f"  속도 차이: {cpu_time/max(gpu_time, 0.0001):.1f}배")

print(f"\n💡 실제 GPU는 수천 코어가 동시 계산!")
print(f"   10,000개를 1,000코어로 나누면")
print(f"   각 코어가 10개만 처리 → {10000//1000}배 빠름!")

딥러닝 학습에 GPU가 CPU보다 유리한 이유는?

전가산기 64개를 연결하면 64비트 정수 덧셈이 가능하다

NVIDIA H100 GPU의 CUDA 코어는 약 몇 개인가?

GPU vs CPU

key

핵심 용어

🔲

CUDA 코어

16,896개

🧮

텐서 코어

528개 (행렬곱 전용)

💾

VRAM

80GB HBM3

💰

가격

약 4,000만 원/개

compare_arrows

비교 정리

항목CPUGPU
코어 수4~16개 (강력한 코어)수천 개 (작지만 많은 코어)
비유교수 1명 (심화 강의)학생 수천 명 (단순 시험)
AI 역할데이터 전처리, 제어행렬곱, 학습, 추론

CPU = 만능 지휘관 / GPU = AI 전용 가속기

edit_note

정리 노트

GPU vs CPU — AI 칩의 세계

CPU vs GPU 비교

CPU 코어
4~16개 강력한 코어 — 순차적 복잡 작업에 최적
GPU 코어
수천 개 작은 코어 — 단순 작업 대량 병렬 처리
비유
CPU = 교수 1명(심화 강의) / GPU = 학생 수천 명(단순 시험)

AI와 GPU

왜 GPU?
딥러닝 핵심 연산 = 행렬곱 → 병렬 처리에 최적
H100 스펙
CUDA 코어 16,896개, 텐서 코어 528개, VRAM 80GB
GPT-4 학습
GPU 25,000개 사용 — 엄청난 연산량 필요
★

CPU는 만능 지휘관, GPU는 AI 전용 가속기 — 역할이 다를 뿐, 둘 다 필수!

image

시각 자료

다이어그램: py-scene-gpu-vs-cpu
check_circle

핵심 정리

  • 1CPU = 만능 지휘관, GPU = AI 전용 가속기
  • 2GPU 수천 코어로 행렬곱 병렬 처리 → AI 핵심
  • 3H100 GPU: 코어 16,896개, 가격 4,000만 원

퀴즈와 인터랙션으로 더 깊이 학습하세요

play_circle인터랙티브 레슨 시작