LLM 활용 기술
프롬프트 엔지니어링 · RAG · Fine-tuning · Temperature — AI를 최대한 활용하는 기술.
같은 질문이라도 어떻게 물어보느냐에 따라 AI의 답변 품질이 크게 달라진다. 프롬프트는 AI와의 대화 기술이다.
AI에게 질문하는 것도 기술이 필요합니다
바이브코더의 핵심 무기는 프로그래밍 실력이 아니라 '프롬프트 설계 능력'입니��. 같은 AI라도 어떻게 지시하느냐에 따라 초등학생 수준의 답변이 나올 수도, 전문가급 답변이 나올 수도 있습니다.
부하 직원에게 업무를 맡길 때, 맥락과 예시를 주면 결과가 ���아지듯, AI에게도 배경, 역할, 예시, 형식을 알려주면 훨씬 좋은 답변을 받을 수 있습니다.
Prompt Engineering, System Prompt, Few/Zero-shot, CoT, RAG, Vector DB, Semantic Search, Chunking, Fine-tuning, LoRA, Temperature, Top-p
Prompt Engineering(프롬프트 엔지니어링) — AI에게 최적의 응답을 이끌어내는 입력 설계 기술입니다.
System Prompt(시스템 프롬프트) — AI의 기본 성격과 규칙을 설정하는 숨겨진 지시문입니다. Zero-shot — 예시 없이 바로 질문. Few-shot — 2~3개 예시를 함께 제공.
CoT(Chain of Thought, 사고 사슬) — AI에게 '단계별로 생각해봐'라고 지시하는 기법입니다. 복잡한 추론에서 정확도가 크게 향상됩니다.
Prompt Engineering = AI 입력 설계 기술 System Prompt = AI 역할·규칙 설정 Zero-shot = 예시 없이 / Few-shot = ��시 2~3개 CoT = 단계별 사고 유도 (정확도 향상)
RAG(Retrieval-Augmented Generation) — LLM에게 관련 문서를 찾아서 함께 넘겨주는 기법입니다. 오픈 북 시험과 같습니다. Hallucination을 크게 줄여줍니다.
Vector DB(벡터 데이터베이스) — 텍스트를 숫자 벡터로 변환하여 저장하는 특수 DB입니다. Semantic Search(의미 검색) — 키워드가 아닌 '의미'로 검색하는 것입니다.
Chunking(청킹) — 긴 문서를 적절한 크기의 조각으로 나누는 것입니다. RAG에서 관련 조각만 LLM에게 전달하기 위해 필요합니다.
RAG = 관련 문서 검색 + LLM 생성 (오픈 북 시험) Vector DB = 의미 기반 검색 DB Semantic Search = 의미로 검색 Chunking = 문서를 적절한 크기로 분할
Fine-tuning(파인튜닝) — 사전훈련된 모델을 특정 분야 데이터로 추가 학습시키는 것입니다. LoRA(Low-Rank Adaptation) — 전체 모델을 수정하지 않고 일부만 효율적으로 학습시키는 기법입니다.
Temperature(온도) — AI 답변의 창의성/무작위성 조절 다이얼입니다. • 0에 가까우면 = 안정적, 반복적 • 1에 가까우면 = 다양하고 창의적
Top-p(핵 샘플링) — 확률 상위 p%의 토큰만 선택 후보에 넣는 방식입니다.
Fine-tuning = 특정 분야로 추가 학습 LoRA = 효율적 부분 학습 기법 Temperature = 창의성 다이얼 (0=안정, 1=다양) Top-p = 확률 상위 p%만 후보로 선택
Ch9에서 REST API를 배웠으니, 이제 진짜 LLM API를 호출해봅시다.
OpenAI API로 ChatGPT에게 질문하는 완전한 예제. System Prompt, Temperature, 메시지 구조가 모두 들어있다.
messages = system(역할) + user(질문) + assistant(답변) temperature = 0(안정) ~ 1(창의) 조절 response.choices[0] = AI의 응답 usage.total_tokens = 사용한 토큰 수 (비용 확인)
| 프롬프트 엔지니어링 | 설명 |
|---|---|
| Prompt Engineering | AI에게 최적의 응답을 이끌어내는 입력 설계 기술 |
| System Prompt | AI의 기본 성격·규칙 설정 |
| Zero/Few-shot | Zero = 예시 없이, Few = 예시 2~3개 |
| CoT | '단계별로 생각해봐' 지시 |
| RAG & 검색 | 설명 |
|---|---|
| RAG | 관련 문서 검색 + LLM 생성 결합 |
| Vector DB | 텍스트를 벡터로 저장하여 의미 기반 검색 |
| Chunking | 긴 문서를 적절한 조각으로 분할 |
| 모델 커스터마이징 | 설명 |
|---|---|
| Fine-tuning | 사전훈련 모델을 특정 분야로 추가 학습 |
| LoRA | 전체 모델 수정 없이 일부만 효율적 학습 |
| Temperature | 창의성 다이얼 — 0 = 안정적, 1 = 다양 |
| Top-p | 확률 상위 p%의 토큰만 후보에 포함 |
RAG = 검색 + 생성으로 Hallucination을 줄이고, Fine-tuning = 모델 자체를 특화시킵니다
LLM에게 관련 문서를 찾아서 함께 넘겨주는 기법은?
AI에게 '단계별로 생각해봐'라고 지시하여 추론 정확도를 높이는 기법은?
Temperature를 0에 가깝게 설정하면 AI 답변이 더 창의적이고 다양해진다
사전훈련된 모델을 특정 도메인 데이터로 추가 학습하는 것은?