예시는 설명보다 강하다
AI에게 원하는 것을 말로 설명하는 데는 한계가 있다. 형식과 추론을 예시로 보여주는 방식이 왜 설명보다 정확한지 이해한다.
프롬프트를 꽤 공들여 썼는데도 결과물이 기대와 다를 때가 있다.
역할도 줬고, 맥락도 설명했고, 출력 형식도 적었다. 그런데 AI가 내놓은 답은 방향은 맞는 것 같은데 딱 원하는 그것이 아니다. 어조가 다르거나, 형식이 조금 다르거나, 추론 과정이 뭉개져 있다.
이런 상황에서 더 길고 자세한 설명이 해결책이 될 때도 있지만, 그렇지 않을 때가 더 많다.
말로 설명하기 어려운 것들
말로 전달하기 어려운 것들이 있다.
어조가 그렇다. "전문적이지만 너무 딱딱하지 않게"라고 써도, AI가 생각하는 그 어조와 내가 생각하는 것이 다르다. 형용사는 기준이 없다. AI는 학습 데이터 안에서 그 형용사에 연결된 수많은 패턴 중 하나를 고른다.
출력 형식도 마찬가지다. "JSON으로 줘"는 통하지만, 회사 내부에서만 쓰는 스키마나 독자적인 분류 체계는 말로 설명하는 것이 쉽지 않다. 설명이 길어질수록 AI가 해석해야 할 여지도 함께 늘어난다.
이럴 때 설명 대신 예시를 보여주는 방법이 있다.
예시는 답의 모양을 보여준다
Few-shot이라는 말은 단순하다. 프롬프트 안에 "이런 입력에 이런 출력"이라는 예시를 직접 포함하는 것이다.
입력: "2024-01-15 회의록"
출력: {"doc_type": "MOM", "date": "20240115", "priority": "normal"}
입력: "긴급: 서버 장애 보고"
출력: {"doc_type": "IR", "date": "오늘날짜", "priority": "critical"}
입력: "3분기 매출 분석 리포트"
출력:
AI는 이 패턴을 보고 마지막 빈칸을 채운다. 설명하지 않아도 된다. 보여주면 된다.
예시가 강한 이유는 AI가 형식을 추론할 필요가 없어지기 때문이다. doc_type이 어떤 경우에 무엇이어야 하는지를 말로 설명하는 대신, 완성된 예시 두 개가 기준을 정의한다. 특히 비표준 출력 형식, 어조와 스타일 고정, 분류 레이블 정의 같은 작업에서 이 방식은 텍스트 지시보다 훨씬 안정적이다.
예시는 보통 2~5개가 적당하다. 그 이상은 컨텍스트를 낭비하고 오히려 노이즈가 될 수 있다. 예시의 수보다 일관성이 더 중요하다. 형식이 조금이라도 섞여 있으면 AI도 흔들린다.
생각의 과정을 보여줄 때
형식 문제는 예시로 해결할 수 있다. 하지만 추론 문제는 다르다.
복잡한 계산이나 다단계 논리 문제에서 AI가 틀리는 방식은 독특하다. 틀린 답이 아니라 그럴듯해 보이는 답으로 곧장 뛰어간다. 중간 과정을 건너뛰고 결론부터 만드는 것이다.
LLM은 토큰을 순서대로 생성하면서, 이전에 생성한 것을 컨텍스트로 사용한다. AI가 중간 단계를 실제로 토큰으로 써내면 그게 다음 추론의 발판이 된다. 하지만 바로 답으로 뛰면 그 발판이 없다.
Chain of Thought는 이 원리를 이용한다. 중간 과정을 명시적으로 출력하게 만드는 것이다.
# 과정 없이
Q: 사과 3개(1,200원), 배 2개(2,500원). 합계의 10% 할인 후 최종 금액은?
A: 8,730원 ← 틀림
# 단계를 쓰게 하면
Q: 위 문제를 단계별로 계산해줘.
A:
1단계: 사과 3개 = 1,200 × 3 = 3,600원
2단계: 배 2개 = 2,500 × 2 = 5,000원
3단계: 합계 = 8,600원
4단계: 10% 할인 = 860원
5단계: 최종 = 7,740원 ← 정확
계산만의 이야기가 아니다. 법률 해석, 코드 디버깅, 여러 조건이 얽힌 의사결정에서도 같은 패턴이 나타난다. 중간 논리를 건너뛰면 그럴듯한 오답이 나온다.
프롬프트에 "단계별로 생각해봐"라는 문장 하나를 추가하는 것만으로 이 효과를 얻을 수 있다. 아니면 Few-shot처럼 단계별 추론 과정 자체를 예시로 보여줄 수도 있다. 모델이 그 추론 패턴을 그대로 따라간다.
좋은 예시와 나쁜 예시
예시가 잘못되면 오히려 역효과가 난다.
Few-shot 예시에 일관성 없는 형식이 섞여 있으면 AI가 어떤 기준을 따라야 할지 혼란스러워한다. 예시가 너무 많으면 컨텍스트 창을 잡아먹고 정작 중요한 내용을 밀어낸다.
Chain of Thought에도 주의할 게 있다. 내부 추론 과정을 포함하는 최신 추론 모델들은 이미 내부에서 긴 추론 과정을 자동으로 거친다. 이런 모델에 "단계별로 생각해봐"를 추가하면 이미 하고 있는 것을 또 시키는 꼴이 된다. 출력이 불필요하게 길어지고 비용도 늘어난다.
기법의 효과는 사용하는 모델에 따라 다르다. 추론 특화 모드가 없는 모델일수록, 그리고 복잡도가 높은 작업일수록 이 기법들이 더 유효하다.
예시를 준다는 것
예시는 AI에게 정답을 알려주는 것이 아니다.
좋은 답이 어떤 모양인지 보여주는 것이다. 형식, 어조, 추론의 흐름 — 이것들은 말로 설명하면 해석의 여지가 생기고, 예시로 보여주면 기준이 고정된다.
설명이 AI에게 방향을 주는 것이라면, 예시는 AI에게 모양을 준다.