Reasoning Model이란? AI에게 생각을 가르치지 않아도 되는 이유

지금까지 프롬프트를 잘 쓴다는 것은 모델이 더 잘 생각하도록 이끄는 일이었다.

단계별로 생각해달라고 말하고, 예시를 보여주고, 풀이 과정을 나누고, 답을 만들기 전에 어떤 순서로 판단해야 하는지 알려주는 것. 많은 프롬프트 기법은 모델이 바로 답으로 뛰어가지 않도록 길을 만들어주는 데서 출발했다.

그런데 reasoning model은 이 전제를 조금 바꾼다.

이 모델들은 단순히 빠르게 문장을 이어가는 것보다, 문제를 더 오래 붙잡고 조건을 따져보는 방향으로 설계되어 있다. 그래서 우리가 익숙하게 쓰던 지시가 항상 도움이 되지는 않는다.

이미 생각하도록 만들어진 모델에게 다시 "이렇게 생각해"라고 가르치려 들면, 오히려 방해가 될 수 있다.

답을 만들기 전에 생각한다

일반적인 대화 모델은 사용자의 입력에 맞춰 자연스러운 답을 빠르게 만들어내는 데 강하다. 짧은 요약, 문장 다듬기, 간단한 설명처럼 답의 방향이 분명한 작업에서는 이 방식이 충분하다.

reasoning model은 조금 다르게 작동한다. 복잡한 문제를 바로 결론으로 밀어붙이기보다, 조건을 비교하고, 가능한 경로를 따져보고, 답을 만들기 전에 문제를 더 오래 붙잡는 데 맞춰져 있다. 예를 들어 Claude의 extended thinking이나 OpenAI의 o 계열 모델처럼, 내부 추론 과정에 더 많은 계산을 쓰도록 설계된 모델들이 이 방향에 있다.

중요한 것은 모델의 내부 생각을 들여다보는 것이 아니다. 복잡한 문제에 더 많은 계산을 쓰도록 만들어진 도구라는 점을 이해하는 것이다.

reasoning model은 더 긴 답을 쓰는 모델이 아니라, 더 어려운 문제를 오래 붙잡도록 만든 모델에 가깝다.

잘 쓰던 방법이 방해가 될 때

일반 모델에게는 "단계별로 생각해줘"라는 말이 도움이 될 때가 있다. 모델이 바로 결론으로 가지 않도록 중간 과정을 만들게 하기 때문이다.

하지만 reasoning model에서는 같은 방식이 항상 좋은 결과를 만들지 않는다. 이미 문제를 나누고 조건을 따지도록 설계된 모델에게 사람이 임의의 사고 순서를 강하게 지정하면, 모델이 더 나은 경로를 선택할 여지를 줄일 수 있다.

예시도 마찬가지다. 좋은 예시는 답의 기준을 보여준다. 하지만 너무 자세한 예시는 모델을 특정 풀이 방식에 묶어버릴 수 있다. 문제에 따라서는 모델이 스스로 더 나은 접근을 찾을 수 있는데, 사용자가 준 예시가 그 가능성을 좁혀버리는 것이다.

문제는 CoT나 예시 자체가 나쁘다는 뜻이 아니다. 도구가 달라졌는데 같은 습관을 그대로 쓰는 것이 문제다.

목표만 주고 물러서기

reasoning model에게는 때로 덜 말하는 편이 낫다.

과정을 길게 지정하는 대신, 목표와 제약, 출력 형식을 분명히 주는 것이다. 무엇을 달성해야 하는지, 어떤 기준을 지켜야 하는지, 답은 어떤 형태로 나와야 하는지만 알려주고 중간 과정은 모델에게 맡긴다.

# 과정을 지정하는 방식
이 문제를 1단계, 2단계, 3단계로 나눠서 풀어.
먼저 A를 확인하고, 그다음 B를 비교하고, 마지막에 C로 결론 내.

# 목표와 기준만 주는 방식
아래 문제를 해결해줘.

목표:
- 가능한 원인을 우선순위대로 찾는다.
- 확실한 근거와 추측을 분리한다.
- 가장 작은 수정으로 해결할 수 있는 방법을 먼저 제안한다.

출력 형식:
1. 가장 가능성 높은 원인
2. 확인해야 할 증거
3. 최소 수정안
4. 남은 불확실성

두 번째 프롬프트는 모델에게 어떻게 생각할지 세세하게 가르치지 않는다. 대신 무엇을 좋은 답으로 볼지 알려준다. 과정은 맡기고, 기준만 고정하는 방식이다.

진가가 나오는 순간

reasoning model은 모든 작업에 필요한 도구가 아니다.

짧은 번역, 간단한 요약, 문장 톤 수정, 아이디어 나열처럼 답의 기준이 단순한 작업에서는 일반 모델이 더 빠르고 충분할 수 있다. reasoning model을 쓰면 시간과 비용만 늘어날 수 있다.

이 모델의 진가는 조건이 많고, 선택지가 갈리고, 실수 비용이 큰 문제에서 나온다.

reasoning model이 어울리는 경우:
- 복잡한 코드 버그 분석
- 여러 조건이 얽힌 설계 판단
- 긴 요구사항을 만족해야 하는 계획 수립
- 글의 논리 구조 검토
- 수학, 논리, 추론 문제가 포함된 작업
- 서로 충돌하는 선택지를 비교해야 하는 일

reasoning model은 더 좋은 모델이라기보다, 더 어려운 문제에 맞는 도구에 가깝다.

도구의 전제를 이해한다는 것

프롬프트 기법은 모델을 이해하는 방식 위에서만 제대로 작동한다.

일반 모델에게 유용했던 방식이 reasoning model에게도 그대로 맞는 것은 아니다. 어떤 모델은 더 많은 구조를 필요로 하고, 어떤 모델은 더 적은 간섭이 필요하다.

reasoning model을 쓸 때 중요한 것은 생각 과정을 대신 설계해주는 것이 아니다. 목표를 분명히 하고, 판단 기준을 주고, 출력 형식을 고정한 뒤 물러서는 것이다.

이 모델에게 어떻게 생각할지를 가르치려 들면 방해가 될 수 있다. 이미 생각하도록 만들어졌다는 것을 아는 것이 먼저다.