새로운 증거가 나오면 판단을 어떻게 바꿔야 할까?베이즈 정리와 사전·사후 확률

안녕하세요, DECHIVE입니다.

스팸 메일을 90% 잡아내는 필터가 있다고 해봅시다. 오늘 받은 메일 하나에 이 필터가 ‘스팸 의심’ 표시를 붙였습니다.

그 메일이 실제 스팸일 확률도 90%일까요?

바로 그렇게 답하기는 어렵습니다. 평소 들어오는 메일 중 스팸이 얼마나 되는지, 정상 메일에도 얼마나 자주 잘못 표시하는지 알아야 하기 때문입니다.

새로운 단서를 발견하면 판단은 달라져야 합니다. 하지만 단서 하나의 인상만으로 결론을 내리면 출발점과 잘못된 경보를 놓치기 쉽습니다. 베이즈 정리는 기존 정보에 새로운 증거를 반영해 확률을 갱신하는 관계식입니다.

한 문장으로 먼저 정리하면

베이즈 정리는 ‘원래 얼마나 가능했는가’와 ‘각 경우에 이 증거가 얼마나 나타나기 쉬운가’를 함께 고려해, 증거를 본 뒤의 확률을 구하는 방법입니다.

핵심은 세 가지입니다.

여기서 ‘사전’은 아무 정보도 없다는 뜻이 아닙니다. 과거 자료나 이미 알고 있던 조건을 반영한 출발점일 수 있습니다. ‘사후’도 진실이 확정되었다는 뜻이 아닙니다. 주어진 정보와 가정 아래에서 갱신한 확률입니다.[1]

90%를 잡는데, 표시된 메일은 절반만 스팸일 수 있습니다

공식보다 먼저 메일 1,000통을 세어보겠습니다. 아래 숫자는 실제 제품의 측정값이 아니라 원리를 설명하기 위해 DECHIVE가 만든 가상 예시입니다.

다음 조건을 가정합니다.

• 전체 메일의 10%가 실제 스팸입니다.
• 필터는 실제 스팸의 90%에 의심 표시를 붙입니다.
• 정상 메일의 10%에도 실수로 의심 표시를 붙입니다.

메일 1,000통 중 실제 스팸은 100통, 정상 메일은 900통입니다. 필터를 적용하면 다음과 같습니다.

우리가 받은 메일에는 의심 표시가 있습니다. 따라서 이제 살펴볼 대상은 전체 1,000통이 아니라 표시된 180통입니다.

그중 실제 스팸은 90통입니다.

의심 표시가 있는 메일이 스팸일 확률 = 90 ÷ 180 = 50%

스팸을 90% 잡는다는 조건과 모순되지 않습니다. 스팸 집단에서 출발한 비율과, 의심 표시가 있는 집단에서 출발한 비율이 다르기 때문입니다.

조건부 확률은 방향을 바꾸면 질문이 달라집니다

앞선 글에서 조건부 확률은 조건에 맞게 분모를 바꾸는 것이라고 설명했습니다. 이번에도 같은 원리가 적용됩니다.

P(의심 표시 | 스팸)은 실제 스팸 중 표시가 붙는 비율입니다. 예시에서는 90%입니다.

P(스팸 | 의심 표시)는 표시가 붙은 메일 중 실제 스팸인 비율입니다. 예시에서는 50%입니다.

세로 막대 |의 오른쪽은 이미 주어진 조건입니다. 오른쪽이 바뀌면 우리가 들여다보는 집단도 바뀝니다.

‘스팸이면 잘 잡는다’는 사실만으로 ‘잡혔으니 거의 확실히 스팸이다’라고 결론 내릴 수 없는 이유입니다. 베이즈 정리는 이 두 방향을 사전 확률과 연결합니다.[1]

베이즈 정리의 공식은 무엇을 계산할까요?

가설을 H, 관측한 증거를 E라고 쓰면 다음과 같습니다.

P(H | E) = P(E | H) × P(H) ÷ P(E)

단, 조건으로 삼는 증거의 확률 P(E)는 0보다 커야 합니다.

• P(H)는 사전 확률입니다.
• P(E|H)는 가설 H 아래에서 증거 E가 나타날 우도입니다.
• P(E)는 전체에서 증거 E가 나타날 확률입니다.
• P(H|E)는 사후 확률입니다.

분자는 가설이 맞으면서 증거도 나타나는 경우입니다. 분모는 가설이 맞든 아니든 증거가 나타나는 모든 경우입니다. 따라서 증거가 있는 집단 중 가설이 맞는 비율을 구하게 됩니다.

이번처럼 스팸과 정상 두 경우가 전체를 나누면, 분모를 다음처럼 풀어 쓸 수 있습니다.

P(E) = P(E | H) × P(H) + P(E | ¬H) × P(¬H)

¬H는 가설 H가 아닌 경우, 여기서는 정상 메일입니다. 숫자를 넣으면 계산은 간단합니다.

P(스팸 | 의심표시) = (0.9 × 0.1) ÷ [(0.9 × 0.1) + (0.1 × 0.9)] = 0.5

공식은 앞에서 센 90통과 180통을 확률로 표현한 것입니다. 분모에서 잘못 표시된 정상 메일을 빠뜨리지 않는 것이 중요합니다.

같은 필터라도 스팸이 드문 곳에서는 결과가 달라집니다

이제 필터의 조건은 그대로 두고, 전체 메일 중 스팸 비율만 10%에서 1%로 바꿔보겠습니다.

메일 1,000통 중 스팸은 10통, 정상은 990통입니다. 스팸의 90%와 정상의 10%에 표시가 붙으므로 다음과 같습니다.

• 실제 스팸이면서 표시된 메일: 9통
• 정상이지만 잘못 표시된 메일: 99통
• 표시된 메일 전체: 108통

따라서 표시된 메일이 실제 스팸일 확률은 9 ÷ 108, 약 8.3%입니다.

두 경우 모두 메일 1,000통을 기준으로 한 가상 예시이며, 집단이 달라져도 필터의 두 조건부 비율이 유지된다고 가정했습니다.

필터가 갑자기 나빠진 것은 아닙니다. 정상 메일이 훨씬 많아지면서, 정상 중 일부에 발생한 오탐이 표시된 집단에서 큰 비중을 차지하게 된 것입니다.

여기서 전체 집단에서 스팸이 차지하는 비율을 기저율이라고 부를 수 있습니다. 눈에 띄는 단서만 보고 이 출발 비율을 무시하면 판단이 크게 어긋날 수 있습니다.

그렇다고 8.3%가 ‘증거가 아무 의미도 없다’는 뜻은 아닙니다. 원래 1%였던 확률이 약 8.3%로 올라갔습니다. 판단을 바꿀 만한 증거인 것과, 결론을 확정할 만큼 강한 증거인 것은 별개입니다.

좋은 증거는 다른 경우와도 비교해야 합니다

어떤 특징이 스팸에 자주 등장한다는 이유만으로 강력한 증거가 되는 것은 아닙니다. 정상 메일에도 비슷하게 자주 등장한다면 스팸과 정상을 구분하는 데 별 도움이 되지 않습니다.

예를 들어 ‘안녕하세요’라는 표현이 스팸과 정상 메일에 똑같이 80%씩 등장한다고 가정해봅시다. 이 표현을 봤다는 사실만으로는 스팸 확률이 바뀌지 않습니다.

반면 특정 특징이 스팸에서는 자주, 정상에서는 드물게 나타난다면 스팸 쪽 판단을 강화하는 증거가 됩니다. 반대로 정상에서 더 흔한 특징이라면 스팸 확률을 낮출 수도 있습니다.

증거를 평가할 때 필요한 질문은 ‘내 가설과 잘 맞는가?’에서 끝나지 않습니다.

‘다른 설명에서도 이 증거가 비슷하게 나타날 수 있는가?’까지 물어야 합니다.

사전 확률은 어디서 가져와야 할까요?

스팸 예시에서는 사전 확률을 이미 알고 있다고 가정했습니다. 실제 업무에서는 이 출발점을 정하는 것부터 검토해야 합니다.

과거 데이터에서 추정할 수 있지만, 그 데이터가 지금 판단할 대상과 비슷한지 확인해야 합니다. 공개 이메일 주소의 스팸 비율을 내부 직원만 사용하는 메일함에 그대로 적용하면 맞지 않을 수 있습니다. 같은 메일함도 운영 방식이나 시기가 달라지면 비율이 달라질 수 있습니다.

사전 확률에 불확실성이 있다면 가능한 값 몇 개를 넣어 결과가 얼마나 달라지는지 비교할 수 있습니다. 앞의 10%와 1% 비교가 바로 그런 점검입니다.

사전 확률은 취향대로 결론을 정하는 장치가 아닙니다. 어떤 자료와 조건을 출발점으로 삼았는지 드러내는 요소입니다. 잘못된 출발값과 부정확한 우도를 넣으면 공식이 올바르더라도 현실과 맞지 않는 결과가 나옵니다.

AI에서는 어떻게 쓰일까요?

베이즈 정리를 활용하는 대표적인 분류 방법으로 나이브 베이즈가 있습니다. 문서에 어떤 단어가 등장했는지 등의 특징을 보고 문서의 범주를 판단하는 방식이며, 스팸 분류에도 활용되어 왔습니다.[2]

이름의 ‘나이브’는 범주가 주어졌을 때 특징들이 서로 조건부 독립이라고 가정하는 데서 나옵니다. 현실의 단어들은 서로 관련되어 있지만, 이 가정을 사용하면 계산을 단순화할 수 있습니다.

다만 베이즈 정리 자체와 나이브 베이즈의 독립성 가정을 혼동하면 안 됩니다. 베이즈 정리를 쓰는 데 모든 증거가 독립이어야 하는 것은 아닙니다. 독립성을 가정하는 것은 특정 모델이 계산을 단순화하는 방식입니다.[2]

또한 분류 결과가 유용하더라도 출력 확률이 현실의 빈도와 잘 맞는지는 별도로 확인해야 합니다. scikit-learn 공식 문서도 나이브 베이즈의 확률 추정값을 신중하게 해석하도록 안내합니다.[2]

생성형 AI가 문장으로 “확률은 90%입니다”라고 말했다고 해서, 그 숫자가 검증된 사전 확률과 우도를 사용해 계산한 사후 확률인 것도 아닙니다. 확률의 이름보다 어떤 데이터와 계산에서 나온 숫자인지가 중요합니다.

증거가 늘면 계속 갱신할 수 있을까요?

새로운 증거가 생기면 앞에서 얻은 사후 확률을 다음 갱신의 출발점으로 사용할 수 있습니다. 다만 다음 증거를 계산할 때는 이미 관측한 증거와의 관계를 반영해야 합니다.

같은 경고를 두 번 읽었다고 해서 독립적인 증거가 두 개 생기지는 않습니다. 같은 원문을 복사한 기사 여러 개나, 하나의 데이터에서 나온 여러 알림도 마찬가지입니다.

관련된 증거들을 무조건 독립이라고 놓고 곱하면 확신을 부풀릴 수 있습니다. 새로운 정보를 더한 것인지, 이미 반영한 정보를 다시 세는 것인지 구분해야 합니다.

흔한 오해

“우도 90%는 가설이 맞을 확률 90%라는 뜻이다.” 우도는 가설이 맞다고 놓았을 때 증거가 나타날 가능성입니다. 증거를 본 뒤 가설이 맞을 확률과 방향이 다릅니다.

“사전 확률은 근거 없는 개인적 믿음이다.” 과거 관측과 배경 정보를 반영할 수 있습니다. 중요한 것은 출발값의 근거와 적용 대상을 밝히는 것입니다.

“강한 증거를 보면 거의 확실하다고 결론 내릴 수 있다.” 출발 확률과 다른 경우에서 같은 증거가 나타날 가능성도 함께 봐야 합니다.

“사후 확률이 50%이면 자동으로 실행해도 된다.” 확률 추정과 행동 결정은 별개입니다. 스팸 폴더로 옮기는 것과 영구 삭제하는 것은 오판의 비용이 다릅니다. 같은 확률이라도 적절한 행동은 달라질 수 있습니다.

그래서 무엇을 기억해야 할까요?

베이즈 정리는 새로운 증거가 나왔을 때 기존 판단을 어떻게 수정할지 보여줍니다.

출발점인 사전 확률을 확인하고, 가설이 맞는 경우와 아닌 경우에 그 증거가 얼마나 나타나는지 비교한 뒤, 증거가 있는 집단 안에서 확률을 다시 계산합니다.

스팸을 90% 잡는 필터라도 표시된 메일이 실제 스팸일 확률은 50%일 수 있습니다. 스팸이 더 드문 집단에서는 같은 필터 조건 아래에서도 약 8.3%가 될 수 있습니다.

증거를 봤다는 사실만으로 결론을 확정하지 말고, 출발 확률과 다른 설명의 가능성을 함께 보세요.

이 관점을 익히면 AI의 점수나 경고를 볼 때도 무엇을 더 확인해야 하는지 선명해집니다. ‘몇 퍼센트인가’와 함께 ‘무엇을 조건으로 한 확률인가’를 묻는 것이 시작입니다.

확인한 자료

1. Penn State STAT 414 — Bayes’ Theorem: 역방향 조건부 확률, 사전·사후 확률의 관계.
2. scikit-learn — Naive Bayes: 베이즈 정리, 조건부 독립 가정, 스팸 분류 활용과 확률 추정의 한계.

예시 수치와 도식은 DECHIVE가 설명을 위해 구성했습니다. 실제 서비스의 성능이나 메일 통계를 나타내지 않습니다.