Ch.2 Python 첫걸음 — 데이터를 다루다

ChatGPT가 여러분과 대화하는 동안, 여러분의 메시지를 어딘가에 저장해야 합니다. 그 '어딘가'가 바로 변수입니다. AI의 모든 데이터 처리는 변수에 값을 넣는 것에서 시작합니다.

변수는 데이터를 담는 이름표가 붙은 상자입니다

= 기호는 '같다'가 아니라 '넣는다'입니다

LLM은 텍스트를 숫자로 바꿔서 처리합니다. "hello"는 문자열이고, 이걸 토큰 ID [15339]로 변환하면 정수입니다. 같은 데이터라도 타입이 다르면 처리 방식이 완전히 달라집니다. 타입을 구별하는 것이 프로그래밍의 첫 번째 규칙입니다.

Python에는 4가지 기본 데이터 타입이 있습니다

type() 함수로 데이터의 타입을 확인합니다

LLM에게 보내는 모든 프롬프트는 결국 문자열입니다. "너는 도움이 되는 AI야"라는 시스템 프롬프트도, 사용자의 질문도 전부 텍스트죠. 문자열을 자유자재로 조합하는 것이 AI 개발의 첫걸음입니다.

f-string은 변수를 문자열 안에 넣는 가장 쉬운 방법입니다

아래 코드를 실행하고 결과를 확인해보세요

AI가 "판단한다"는 것은 결국 if-else입니다. '이 토큰 다음에 뭐가 올 확률이 높은가?' — 이것도 조건 분기의 연속이죠. 수십억 개의 학습 데이터에서 품질이 낮은 텍스트를 걸러내는 것도 조건문의 역할입니다.

조건에 따라 다른 코드를 실행합니다

조건문으로 AI 챗봇의 감정 판별기를 만들어봅시다

GPT-4의 학습 데이터는 약 13조 개의 토큰입니다. 이 토큰들을 하나씩 처리하려면 반복문이 필수죠. AI 학습(training)도 본질적으로 for loop의 반복 — 데이터를 넣고, 예측하고, 오차를 줄이는 과정을 수만 번 반복합니다.

for 루프가 리스트를 순회하는 과정을 따라가봅시다

for 루프로 데이터를 하나씩 처리해봅시다

ChatGPT에게 메시지를 보내면, 내부적으로 JSON 형태로 전달됩니다. `{"role": "user", "content": "안녕"}` — 이것이 AI API의 기본 언어죠. AI 학습 데이터도, API 요청/응답도 전부 JSON입니다. 딕셔너리를 아는 것이 곧 AI 데이터를 아는 것입니다.

JSON은 데이터를 표현하는 만국 공통어입니다

json.loads()로 JSON 문자열을 Python 딕셔너리로 변환합니다

같은 텍스트 전처리를 1,000번 반복할 때마다 코드를 복사할 순 없습니다. 함수로 묶으면 한 줄이면 됩니다. 실제로 AI 파이프라인의 모든 단계 — 토큰화, 정규화, 임베딩 — 는 각각 함수로 구현됩니다.

함수는 코드를 재사용하는 이름표가 붙은 상자입니다

매개변수에 기본값을 주면 호출이 유연해집니다

AI 학습 데이터 수백만 줄을 처리하다가 딱 한 줄에서 깨진 JSON이 나오면? 에러 처리 없이는 전체가 멈춥니다. 실제 AI 파이프라인에서 `try/except`는 생명줄입니다. 나쁜 데이터 하나 때문에 전체 학습이 중단되지 않도록 막아줍니다.

try/except로 프로그램의 비상구를 만듭니다

Python에서 자주 만나는 에러 타입들

PyTorch의 모든 AI 모델은 클래스로 만들어집니다. `class MyModel(nn.Module):` — 이 한 줄이 AI 모델의 시작이죠. 변수와 함수가 수십 개로 늘어나면, 관련된 것끼리 묶어야 합니다. 그 묶음의 설계도가 클래스입니다.

클래스는 데이터와 함수를 묶는 설계도입니다

설계도로 실제 객체를 만들어봅시다

변수 → 타입 → 문자열 → 조건문 → 반복문 → JSON → 함수 → 에러 처리 → 클래스. 이 조각들을 모으면 데이터 전처리기가 됩니다. 실제 AI 학습의 첫 단계인 데이터 파이프라인을 직접 만들어봅시다. 이것이 ChatGPT의 학습 데이터가 거치는 과정과 본질적으로 같습니다.

4단계로 데이터를 처리합니다

4단계를 하나의 클래스로 통합해봅시다