AI의 출력이 확률적이라는 것은 무슨 뜻인가

AI의 출력이 확률적이라는 것은 무슨 뜻인가

AI 모델이 내놓는 답에는 숫자가 붙어 있다. "고양이일 확률 92%"처럼 겉으로 드러나기도 하고, 다음 단어를 고를 때처럼 보이지 않는 곳에서 쓰이기도 한다. 이 숫자를 확률이라 부른다.

그런데 이 숫자를 읽는 법이 자주 어긋난다. 92%를 보면 "이 답이 92% 맞을 것"으로 읽기 쉬운데, 그렇게 읽어도 되는지가 이 글의 주제다.

모델이 내놓는 확률은 확신의 크기이지, 그 확신이 맞다는 보장이 아니다.

이 문장을 풀어놓은 것이 이 글이다. 확률이 어디서 나오는지, 확신과 실제 정답률이 왜 어긋나는지, 그 어긋남이 어디서 만들어지는지, 그리고 어디까지 고칠 수 있는지를 다룬다.

확률은 어디서 나오는가

신경망의 마지막 층은 답 하나를 그냥 내놓지 않는다. 가능한 답 전체에 걸친 분포를 내놓는다.

분류 문제라면 후보마다 숫자가 하나씩 매겨지고, 그 숫자들을 전부 더하면 1이 된다. 이 변환을 하는 함수를 소프트맥스(softmax) 라 부른다. 후보가 둘뿐인 경우에는 시그모이드(sigmoid) 라는 더 단순한 형태를 쓴다.

언어 모델도 같은 구조다. 다음에 올 단어를 콕 집어 내놓는 것이 아니라 어휘 전체에 걸친 확률의 목록을 계산하고, 거기서 하나를 뽑는다.

여기서 사실 하나가 드러난다. 확률을 내놓는 것은 생성형 모델만의 일이 아니다. 이미지를 분류하는 모델도, 스팸을 거르는 모델도 전부 확률을 계산한다. "생성형 AI가 확률적이다"라는 말은 절반만 맞다. 판별형의 출력도 확률이며, 다만 그중 가장 높은 하나만 골라 보여주기 때문에 뒤에 분포가 있다는 사실이 가려질 뿐이다.

어디서 자를지는 사람이 정한다

이 분포는 실무에서 이렇게 쓰인다. 스팸 필터를 만들 때, 확률이 0.5를 넘으면 스팸으로 볼지 0.9를 넘어야 스팸으로 볼지를 사람이 정한다. 이 기준선을 임계값(threshold) 이라 한다.

임계값을 낮추면 스팸을 덜 놓치는 대신 정상 메일이 더 자주 걸린다. 높이면 반대가 된다. 무엇이 더 곤란한 실수인지에 따라 사람이 판단해서 정하는 값이다.

그래서 분류 결과는 모델이 혼자 정하는 것이 아니다. 학습으로 정해지는 것은 확률을 계산하는 파라미터이고, 그 확률을 어디서 자를지는 사람의 결정으로 남는다.

확신의 크기와 맞을 가능성은 다르다

모델이 "92%"라고 말했을 때 그 숫자가 정직한지를 재는 개념이 있다.

모델이 92%의 확신으로 내놓은 답들을 모았을 때, 실제로 그중 92% 정도가 맞는가.

이 일치를 보정(calibration) 이라 한다. 92%라고 말했는데 실제로는 60%만 맞는다면 그 모델은 과신(overconfident) 하고 있다.

용어 주의 — 한국어 '보정'은 일상적으로 사진 보정, 시력 보정처럼 결함을 바로잡는다는 뜻으로 쓰인다. 여기서 말하는 보정은 그런 뜻이 아니라, 확신의 크기와 실제 정답률이 얼마나 나란한지를 재는 성질이다. 보정이 잘 됐다는 것은 모델이 좋다는 뜻이 아니라 자기 확신에 정직하다는 뜻이다.

2017년의 한 연구가 이 문제를 정면으로 다뤘다. 이 연구는 신뢰 보정을 참인 정답 가능성을 대표하는 확률 추정치를 예측하는 문제로 정의하고, 현대 신경망이 십 년 전의 신경망과 달리 보정이 잘 되어 있지 않다는 것을 발견했다. 그리고 깊이, 너비, 가중치 감쇠, 배치 정규화가 보정에 영향을 주는 중요한 요인들이라고 보고했다.

[2번 이미지]

여기서 중요한 것은 방향이다. 어긋남은 무작위가 아니라 자신만만한 쪽으로 기운다. 정확도를 올리려고 모델을 키우고 여러 기법을 더하는 동안, 확신은 정확도보다 더 빠르게 치솟는다.

어긋남의 크기를 재는 지표에도 이름이 있다. 여러 확신 구간에 걸쳐 확신과 실제 정답률의 차이를 종합한 값을 기대 보정 오차(ECE, Expected Calibration Error) 라 한다.

온도라는 이름이 두 곳에 쓰인다

같은 연구는 해결책도 제시했다. 온도 스케일링(temperature scaling) 이라는 후처리 기법으로, 학습이 끝난 모델의 출력에 숫자 하나만 조정해 확률을 실제 정답률에 가깝게 맞춘다. 학습을 다시 하지 않고도 확신의 크기를 눌러주거나 키워줄 수 있다는 것이 장점이다.

그런데 '온도'라는 말은 다른 자리에서도 쓰인다. 언어 모델이 확률 목록에서 답을 뽑을 때, 확률이 낮은 후보까지 얼마나 자주 고를지를 조절하는 값도 온도라 부른다. 이쪽 온도를 낮추면 답이 뻔해지고 높이면 다양해진다.

같은 이름이지만 목적이 다르다. 뽑기의 온도는 결과의 다양성을 조절하고, 보정의 온도는 확신의 크기를 실제 정답률에 맞춘다. 자료를 읽을 때 어느 쪽인지 확인해야 한다.

확신에 찬 오답은 어디서 만들어지는가

여기서 자연스러운 기대가 하나 생긴다. "모델을 더 잘 만들면 이 문제가 없어지지 않을까." 2024년과 2025년에 나온 두 연구가 이 기대에 답했는데, 원인이 두 군데에 있다는 것이 요지다.

모델은 대개 두 단계를 거쳐 만들어진다. 대량의 텍스트로 언어의 분포를 익히는 사전학습, 그리고 그 뒤에 사람의 지시를 따르고 도움이 되도록 다듬는 사후학습이다. 확신에 찬 오답은 양쪽 모두에서 만들어진다.

첫째, 사전학습에서 통계적으로 발생한다

2024년의 이론 연구는 사전학습된 언어 모델이 어떤 종류의 사실들에 대해 일정 비율로 환각을 일으킬 수밖에 없는 통계적 하한선이 존재함을 보였다. 그리고 이 하한선이 트랜스포머 구조나 데이터 품질과 무관하다고 밝혔다.

2025년의 후속 연구가 이 결과를 더 넓게 설명한다. 핵심은 만들어내는 일이 가려내는 일보다 어렵다는 것이다. 유효한 출력을 생성하려면 각 후보에 대해 "이것이 유효한가"를 암묵적으로 답해야 하므로, 생성 오류율은 그 이분 판별 문제의 오분류율에 묶인다. 그래서 가려내기에서 오류가 생기는 통계적 요인들이 그대로 만들어내기의 오류 요인이 된다.

가장 다루기 어려운 요인은 배울 수 있는 패턴이 아예 없는 경우다. 어떤 사람의 생일 같은 임의의 사실이 그렇다. 이때는 필요한 지식이 훈련 데이터에 없는 상태이며, 이를 인식론적 불확실성(epistemic uncertainty) 이라 한다.

같은 연구는 이 경우의 하한선을 구체적인 수치로 보여준다. 훈련 데이터에서 딱 한 번만 등장한 사실의 비율만큼은 환각이 일어난다고 예상해야 한다. 예를 들어 생일 관련 사실 중 20%가 훈련 데이터에 정확히 한 번씩만 나온다면, 기반 모델은 생일 질문의 최소 20%에서 환각을 일으킬 것으로 기대된다.

이 연구가 든 예가 인상적이다. 저자 본인의 생일을 묻자 최신 모델이 세 번의 시도에서 서로 다른 세 개의 틀린 날짜를 내놓았다. 아는 경우에만 답하라고 명시했는데도 그랬다.

둘째, 평가 방식이 그 습관을 유지시킨다

사후학습은 환각을 줄이는 것을 목표로 삼는데, 왜 여전히 남는가. 2025년 연구의 답은 이렇다. 훈련과 평가 절차가 불확실성을 인정하는 것보다 추측하는 것에 보상을 주기 때문이다.

[3번 이미지]

비유가 명확하다. 어려운 시험 문제 앞에서 학생은 확신이 없어도 찍는다. 빈칸은 0점이고 찍으면 맞을 가능성이라도 있기 때문이다. 언어 모델도 같은 방식으로 평가받는다. 정답에 1점, 빈칸이나 "모르겠다"에 0점을 주는 이분 채점에서는 확신이 없을 때 추측하는 쪽이 기대 점수를 최대화한다.

같은 연구는 이를 정리해 이렇게 말한다. 이분 채점에서 기권은 엄격하게 열등한 선택이며, "모르겠다"류의 응답은 최대로 불이익을 받고 과신에 찬 "최선의 추측"이 최적이 된다. 그리고 이것이 응답자의 믿음이 어떻든 성립한다는 것을 보였다.

문제는 그런 채점이 예외가 아니라 표준이라는 데 있다. 이 연구는 주요 평가들을 직접 조사했는데, GPQA·MMLU-Pro·IFEval·Omni-MATH·BBH·MATH·MuSR·SWE-bench·HLE가 전부 이분 채점이었고 기권에 부분 점수를 주지 않았다. 조사한 것 중 부분 점수의 여지가 있는 것은 WildBench 하나뿐이었다.

그래서 이런 결론이 나온다. 언어 모델은 늘 "시험 모드"에 있다. 사람은 학교 밖에서 불확실성을 표현하는 법을 배우지만 — 생일을 지어내면 곧 창피를 당하니까 — 모델은 불확실성에 벌점을 주는 시험으로만 평가받는다.

한 가지 더. 검색을 붙이는 것도 이 문제를 풀지 못한다. 모델 바깥에서 문서를 찾아 입력에 넣어주는 방식은 근거를 대는 데 도움이 되지만, 같은 연구는 위 결론이 그런 모델을 포함해 어떤 언어 모델에도 성립한다고 지적한다. 검색이 확신할 만한 답을 못 찾았을 때, 이분 채점 체계는 여전히 추측에 보상을 주기 때문이다.

보정과 무오류는 서로 밀어낸다

여기가 이 주제에서 가장 반직관적인 지점이다.

2025년 연구가 유도한 결과 하나는 이렇다. 틀리지 않는 언어 모델은 보정되어 있지 않아야 한다. 오차 하한선이 보정의 정도에 묶여 있기 때문에, 오류율을 0으로 만들려면 보정이 크게 어긋나 있어야 한다는 뜻이다.

그리고 실제로 관찰되는 방향도 이와 맞물린다. 같은 연구가 인용한 자료에 따르면 사전학습을 마친 기반 모델은 대체로 잘 보정되어 있고, 강화학습을 거친 뒤의 모델은 그 보정에서 벗어난다.

이것이 뜻하는 바를 정확히 새길 필요가 있다. 보정이 잘 됐다는 것은 정확하다는 뜻이 아니다. 보정은 확률이 스스로에게 정직한지를 재는 것이지, 그 확률이 가리키는 답이 옳은지를 재는 것이 아니다.

같은 연구가 든 두 가지 극단이 이를 분명히 한다.

• 환각률 100%인데 보정 오차 0%인 모델이 가능하다. 늘 틀린 답을 내놓으면서 매번 확신을 0%로 표시하면 된다.

• 환각률 0%인데 보정 오차 100%인 모델도 가능하다. 늘 맞는 답을 내놓으면서 매번 확신을 0%로 표시하면 된다.

그래서 이 연구는 보정 오차가 환각을 재는 적절한 지표가 아니라고 명시한다. 확신을 사후에 얼마나 잘 매기는지를 잴 뿐이다.

그래서 확률을 어떻게 읽어야 하는가

굵게 표시한 칸이 실무에서 가장 위험하다. 확률이 낮으면 사람이 알아서 의심한다. 확률이 높은데 틀렸다면 의심할 이유 자체가 주어지지 않는다.

그리고 이 칸은 우연히 생기는 것이 아니라 위에서 본 두 요인 — 통계적 하한선과 추측을 보상하는 평가 — 이 함께 만들어낸다.

어디까지 고칠 수 있는가

"환각은 원리적으로 불가피하다"는 말은 조건을 붙여야 한다. 2025년 연구는 이 통념을 직접 반박한다. 질의응답 데이터베이스와 계산기를 갖추고, 정해진 질문에만 답하고 나머지에는 모른다고 답하는 시스템을 만들면 환각하지 않는 모델을 쉽게 만들 수 있다는 것이다. 불가피성은 언어의 분포를 추정하도록 학습된 기반 모델에 대한 이야기다.

그리고 이 연구가 제안하는 해법은 모델 쪽이 아니라 평가 쪽에 있다. 시험 지시문에 명시적인 신뢰도 목표를 적어두자는 것이다. 예컨대 이런 문장을 각 문제에 붙인다.

확신이 t를 넘을 때만 답하라. 오답은 t/(1−t)점을 감점하고, 정답은 1점, "모르겠다"는 0점이다.

t를 0.5로 두면 오답 감점이 1점, 0.75면 2점, 0.9면 9점이 된다. 이러면 확신이 t를 넘을 때만 답하는 것이 기대 점수 면에서 유리해진다. 사람의 시험에도 선례가 있다. 인도의 JEE·NEET·GATE, 미국수학협회의 AMC, 그리고 예전의 SAT·AP·GRE가 오답에 감점을 두었다.

여기서 이 연구가 강조하는 것은 감점 규칙을 지시문에 명시해야 한다는 점이다. 기준이 밝혀져 있지 않으면 어떤 모델이 최선인지에 대한 합의가 불가능하고, 학생이 "감점 기준을 안 알려줬다"고 항의하는 것과 같은 상황이 된다.

그리고 이 연구는 이것이 기술만의 문제가 아니라고 본다. 환각 전용 평가를 몇 개 더 만드는 것으로는 부족하다. 리더보드를 지배하는 주요 평가들의 채점 방식 자체가 바뀌어야 하고, 그 변화가 받아들여져야 한다.

이것이 왜 검증의 문제인가

첫째, 확신에 찬 어조는 증거가 아니다. 확신의 크기는 모델 내부의 계산 결과이지 외부 세계와 대조된 결과가 아니다.

둘째, 어긋남의 상당 부분은 모델의 결함이 아니라 그 모델을 평가하는 방식에서 온다. 모델을 바꾸는 것만으로 해결되지 않는다.

셋째, 그래서 검증은 모델 바깥에서 와야 한다. 모델이 스스로 "확실하다"고 말하는 것에 기대는 대신, 답을 뒷받침하는 근거를 밖에서 찾아 대조하는 절차가 필요하다.

흔한 오해

"확률이 높으면 맞을 확률도 높다." 그 둘이 일치하는 것을 보정이라 부르며, 현대 신경망은 대체로 잘 보정되어 있지 않고 자신만만한 쪽으로 기운다.

"생성형 AI만 확률적이고 판별형은 확정적이다." 판별형도 소프트맥스나 시그모이드로 확률 분포를 계산한다. 가장 높은 하나만 보여주기 때문에 뒤의 분포가 가려질 뿐이며, 어디서 자를지는 사람이 임계값으로 정한다.

"보정이 잘 된 모델은 정확한 모델이다." 보정은 확률이 스스로에게 정직한지를 재는 것이지 답이 옳은지를 재는 것이 아니다. 늘 틀리면서 확신을 0%로 표시하면 환각률 100%에 보정 오차 0%인 모델이 된다.

"보정 오차가 낮으면 환각이 적다." 보정 오차는 환각을 재는 지표가 아니다. 위의 극단적인 예가 그것을 보여준다.

"모델을 더 좋게 만들면 확신에 찬 오답이 없어질 것이다." 훈련 데이터로 진위를 판정할 수 없는 임의의 사실에 대해서는 통계적 하한선이 있고, 이 하한선은 구조나 데이터 품질과 무관하다. 게다가 오차를 0으로 만들려 하면 보정이 어긋난다.

"환각은 언어 모델이면 원리적으로 피할 수 없다." 조건을 붙여야 한다. 정해진 질문에만 답하고 나머지에는 모른다고 답하는 시스템은 환각하지 않는다. 불가피성은 언어의 분포를 추정하도록 학습된 기반 모델에 대한 이야기다.

"검색을 붙이면 환각이 해결된다." 검색은 도움이 되지만 근본을 바꾸지 못한다. 검색이 확신할 만한 답을 찾지 못했을 때, 추측에 보상을 주는 채점 구조는 그대로 남는다.

"환각은 모델의 결함이다." 사전학습에서 오는 통계적 부분과, 평가 방식이 추측에 보상을 주기 때문에 남는 부분이 있다. 뒤쪽은 모델의 결함이 아니라 그 모델을 재는 방식의 문제다.

"AI가 모르겠다고 말하지 않는 것은 성격 때문이다." 주요 벤치마크가 기권에 점수를 주지 않기 때문이다. 조사된 평가 대부분이 이분 채점이었고, 기권은 최대로 불이익을 받는다.

확인한 자료

• Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q., On Calibration of Modern Neural Networks, Proceedings of the 34th International Conference on Machine Learning (ICML), 2017 — 신뢰 보정을 참인 정답 가능성을 대표하는 확률 추정치를 예측하는 문제로 정의한 대목, 현대 신경망이 십 년 전 신경망과 달리 보정이 잘 되어 있지 않다는 발견, 깊이·너비·가중치 감쇠·배치 정규화가 보정에 영향을 주는 요인이라는 결과, 그리고 온도 스케일링이 대부분의 데이터셋에서 효과적인 후처리 보정 기법이라는 제안.

• Kalai, A. T. & Vempala, S. S., Calibrated Language Models Must Hallucinate, Proceedings of the 56th Annual ACM Symposium on Theory of Computing (STOC), 2024 — 사전학습된 언어 모델이 특정 종류의 사실에 대해 일정 비율로 환각을 일으킬 수밖에 없는 통계적 하한선이 존재하며, 이것이 트랜스포머 구조나 데이터 품질과 무관하다는 결과.

• Kalai, A. T., Nachum, O., Vempala, S. S. & Zhang, E., Why Language Models Hallucinate, arXiv:2509.04664, 2025 — 훈련과 평가 절차가 불확실성 인정보다 추측에 보상을 준다는 논지, 생성 오류를 이분 판별 문제의 오분류로 환원하는 분석, 인식론적 불확실성과 훈련 데이터에 한 번만 등장한 사실의 비율이 환각률의 하한을 이룬다는 결과와 20% 예시, 이분 채점에서 기권이 엄격하게 열등하다는 관찰과 주요 벤치마크 조사표, 틀리지 않는 모델은 보정되어 있지 않아야 한다는 함의, 기반 모델은 잘 보정되어 있으나 강화학습 후 그 보정에서 벗어난다는 관찰, 보정 오차가 환각의 적절한 지표가 아니라는 지적과 두 극단 사례, 검색을 붙여도 이분 채점이 추측을 보상한다는 한계, 명시적 신뢰도 목표 제안과 t 값별 감점 설계, 그리고 오답 감점을 두었던 인간 시험들의 사례.