LLM 활용 기술

AI에게 질문하는 것도 기술이 필요합니다

바이브코더의 핵심 무기는 프로그래밍 실력이 아니라 '프롬프트 설계 능력'입니다. 같은 AI라도 어떻게 지시하느냐에 따라 초등학생 수준의 답변이 나올 수도, 전문가급 답변이 나올 수도 있습니다. Ch5에서 Temperature를 조절했던 것도 사실 프롬프트 엔지니어링의 일부였습니다. 이번에는 체계적으로 배워봅시다.

부하 직원에게 업무를 맡길 때, 맥락과 예시를 주면 결과가 좋아지듯, AI에게도 배경, 역할, 예시, 형식을 알려주면 훨씬 좋은 답변을 받을 수 있습니다.

Prompt Engineering(프롬프트 엔지니어링) — AI에게 최적의 응답을 이끌어내는 입력(프롬프트) 설계 기술입니다. 역할, 맥락, 예시, 형식을 명확히 지정합니다.

System Prompt(시스템 프롬프트) — AI의 기본 성격과 규칙을 설정하는 숨겨진 지시문입니다. '너는 친절한 한국어 튜터야'처럼 역할을 부여합니다. Zero-shot — 예시 없이 바로 질문. Few-shot — 2~3개 예시를 함께 제공하여 패턴을 알려줌.

CoT(Chain of Thought, 사고 사슬) — AI에게 '단계별로 생각해봐'라고 지시하는 기법입니다. 복잡한 추론 문제에서 정확도가 크게 향상됩니다. '풀이 과정을 보여줘'와 같은 효과입니다.

RAG(Retrieval-Augmented Generation) — LLM에게 관련 문서를 찾아서 함께 넘겨주는 기법입니다. 시험 볼 때 오픈 북(참고서 허용)과 같습니다. Hallucination을 크게 줄여줍니다.

Vector DB(벡터 데이터베이스) — 텍스트를 숫자 벡터로 변환하여 저장하는 특수 DB입니다. 의미적으로 유사한 텍스트를 빠르게 검색합니다. Pinecone, Weaviate가 대표적입니다. Semantic Search(의미 검색) — 키워드가 아닌 '의미'로 검색하는 것입니다. '비오는 날 분위기 좋은 카페'로 검색해도 관련 결과가 나옵니다.

Chunking(청킹) — 긴 문서를 적절한 크기의 조각으로 나누는 것입니다. RAG에서 문서 전체가 아닌, 관련 조각만 LLM에게 전달하기 위해 필요합니다.

Fine-tuning(파인튜닝) — 사전훈련된 모델을 특정 분야 데이터로 추가 학습시키는 것입니다. 기본 요리를 배운 셰프를 한식 전문으로 특화시키는 것과 같습니다. LoRA(Low-Rank Adaptation) — 전체 모델을 수정하지 않고 일부만 효율적으로 학습시키는 기법입니다. 비용과 시간을 크게 줄여줍니다.

Temperature(온도) — AI 답변의 창의성/무작위성 조절 다이얼입니다. • 0에 가까우면 = 안정적, 반복적 (코드 생성에 적합) • 1에 가까우면 = 다양하고 창의적 (창작에 적합) • 2 = 거의 랜덤 (의미 없는 수준)

Top-p(핵 샘플링) — 확률 상위 p%의 토큰만 선택 후보에 넣는 방식입니다. Top-p=0.9면 확률 상위 90%의 토큰만 고려합니다. Temperature와 함께 다양성을 조절합니다.

Ch9에서 REST API를 배웠으니, 이제 진짜 LLM API를 호출해봅시다. 아래 코드는 OpenAI API로 ChatGPT에게 질문하는 완전한 예제입니다. System Prompt, Temperature, 메시지 구조가 모두 들어있습니다.

from openai import OpenAI
import os

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

response = client.chat.completions.create(
    model="gpt-4o",
    temperature=0.7,        # 창의성 조절 (Ch5!)
    messages=[
        {"role": "system",    # System Prompt
         "content": "너는 친절한 Python 튜터야"},
        {"role": "user",      # 사용자 질문
         "content": "리스트와 튜플의 차이가 뭐야?"}
    ]
)

print(response.choices[0].message.content)
print(f"사용 토큰: {response.usage.total_tokens}")  # 비용 확인

LLM에게 관련 문서를 찾아서 함께 넘겨주는 기법은?

AI에게 '단계별로 생각해봐'라고 지시하여 추론 정확도를 높이는 기법은?

Temperature를 0에 가깝게 설정하면 AI 답변이 더 창의적이고 다양해진다

사전훈련된 모델을 특정 도메인 데이터로 추가 학습하는 것은?

LLM 활용 기술