조건이 달라지면 확률도 달라질까?확률·조건부 확률·독립성의 차이

안녕하세요, DECHIVE입니다.

“이 AI의 오류율은 20%입니다.”

이런 숫자를 보면 열 번 중 두 번은 틀리겠다고 생각하기 쉽습니다. 그런데 어떤 질문을 시험했는지, 어떤 답을 오류로 셌는지에 따라 숫자의 의미는 달라집니다.

전체 답변에서는 오류가 20%여도, 유난히 어려운 질문만 모으면 비율이 더 높을 수 있습니다. 같은 AI에게 두 번 물었다고 실패 가능성이 단순히 제곱되는 것도 아닙니다.

이 차이를 이해하는 출발점이 확률, 조건부 확률, 독립성입니다.

한 문장으로 먼저 정리하면

확률은 정한 조건에서 사건이 일어날 가능성을 나타내고, 조건부 확률은 특정 조건이 성립한다는 정보를 반영한 확률입니다. 독립성은 한 사건이 일어났다는 정보를 알아도 다른 사건의 확률이 바뀌지 않는 관계입니다.

핵심 질문은 세 가지입니다.

• 무엇이 일어날 확률인가요?
• 어떤 대상을 전체로 삼았나요?
• 추가로 알고 있는 조건은 무엇인가요?

같은 숫자라도 이 질문에 대한 답이 다르면 의미도 달라집니다.

확률은 무엇의 가능성을 말할까요?

공정한 동전을 한 번 던지면 앞면이 나올 확률은 1/2입니다. 결과가 앞면과 뒷면이고 둘의 가능성이 같다고 가정했기 때문입니다.

이처럼 관심 있는 결과를 사건이라고 합니다. ‘앞면이 나온다’, ‘선택한 답변에 오류가 있다’처럼 무엇을 셀 것인지 정합니다. 가능한 결과 전체의 집합은 표본공간이라고 부릅니다.[1]

확률은 0부터 1 사이의 값이며, 0.2는 20%로 표현할 수 있습니다.

다만 ‘관심 있는 경우의 수 ÷ 전체 경우의 수’로 구하려면 각 결과가 같은 가능성으로 일어나는 등의 조건이 필요합니다. 결과가 둘이라고 무조건 각각 50%인 것은 아닙니다.

또한 동전을 열 번 던졌을 때 반드시 다섯 번 앞면이 나오는 것도 아닙니다. 확률은 작은 횟수 안에서 정해진 순서나 개수를 보장하지 않습니다.

조건부 확률은 분모를 다시 정하는 일입니다

AI 답변 100건을 같은 기준으로 사후 검증했다고 하겠습니다. 이 답변들에는 ‘추가 검토 대상’으로 분류됐는지도 표시되어 있습니다.

이 표는 DECHIVE의 설명용 가상 기록입니다. 특정 AI 제품을 측정한 수치가 아닙니다.

100건에서 답변 하나를 같은 가능성으로 고른다면, 오류가 있을 확률은 20 ÷ 100 = 20%입니다.

그런데 선택한 답변이 ‘추가 검토 대상’이라는 정보를 알게 됐다면 어떨까요? 이제 그 조건에 해당하는 30건 안에서 오류가 있는 12건을 봅니다.

추가 검토 대상일 때 오류가 있을 확률 = 12 ÷ 30 = 40%

전체에서의 20%와 특정 조건 안에서의 40%는 모순되지 않습니다. 분모로 삼은 집단이 다르기 때문입니다.

이 예시는 정해진 100건 안의 비율입니다. 앞으로 들어올 모든 질문에도 같은 오류율이 유지된다고 결론 낼 수는 없습니다.

기호 P(A|B)는 어떻게 읽으면 될까요?

오류가 있다는 사건을 A, 추가 검토 대상이라는 사건을 B라고 하겠습니다.

P(A|B)는 B라는 조건에서 A가 일어날 확률이라고 읽습니다. 세로줄 오른쪽이 조건입니다.

공식으로는 다음과 같습니다.

P(A|B) = P(A와 B가 함께 일어남) ÷ P(B)

단, 이 공식은 P(B) > 0일 때 사용합니다.[1]

표에서는 오류도 있고 추가 검토 대상이기도 한 답변이 12건입니다. 그래서 P(A|B) = (12/100) ÷ (30/100) = 12/30이 됩니다.

‘조건부’라는 말이 반드시 시간 순서를 뜻하는 것은 아닙니다. B가 A보다 먼저 발생했다는 뜻이 아니라, B라는 정보를 알고 계산한다는 뜻입니다.

같은 표에서도 세 가지 질문은 답이 다릅니다

첫 번째는 P(A|B), 두 번째는 P(B|A), 세 번째는 두 사건이 함께 일어날 확률입니다.

세 경우 모두 같은 12건을 세지만 분모가 다릅니다. 조건의 방향을 뒤집으면 같은 값이 되는 것이 아닙니다.

또한 표에서 검토 대상의 오류 비율이 높다고 해서 ‘추가 검토가 오류를 만들었다’는 뜻은 아닙니다. 원래 어려운 질문이 검토 대상으로 많이 분류됐을 수도 있습니다. 이 기록만으로 원인을 결정할 수는 없습니다.

독립성은 서로 만나지 않는다는 뜻이 아닙니다

공정한 동전을 두 번 독립적으로 던지는 모형을 생각해 보겠습니다.

첫 번째 앞면 여부를 알아도 두 번째 앞면 확률은 여전히 1/2입니다. 첫 번째에 앞면이 나왔다고 두 번째에 뒷면이 나올 차례가 되는 것은 아닙니다.

독립인 두 사건 A와 B는 다음 관계를 만족합니다.

P(A와 B가 함께 일어남) = P(A) × P(B)

관련 조건의 확률이 0보다 클 때에는 P(A|B) = P(A)로도 확인할 수 있습니다.[2]

위 동전 모형에서 두 번 모두 앞면일 확률은 1/2 × 1/2 = 1/4입니다. 두 사건이 함께 일어날 수도 있다는 점이 중요합니다.

반면 주사위를 한 번 던져 ‘1이 나온다’와 ‘2가 나온다’는 동시에 일어날 수 없습니다. 이런 관계는 서로 배반이라고 합니다. 양쪽 확률이 모두 0보다 큰 배반 사건은 독립이 아닙니다. 하나가 일어났다는 사실을 알면 다른 사건의 확률이 0으로 바뀌기 때문입니다.[2]

공을 다시 넣지 않고 뽑으면 조건이 달라집니다

주머니에 빨간 공 3개와 파란 공 2개가 있다고 하겠습니다. 매번 남은 공 중 하나를 같은 가능성으로 뽑습니다.

처음 빨간 공을 뽑을 확률은 3/5 = 60%입니다.

첫 번째에 빨간 공이 나왔고 이를 돌려놓지 않았다면, 남은 공은 빨강 2개와 파랑 2개입니다. 이 조건에서 두 번째 빨간 공 확률은 2/4 = 50%입니다.

첫 결과를 알기 전의 두 번째 빨간 공 확률은 이 모형에서 3/5입니다. 하지만 첫 번째가 빨강이라는 정보를 알면 2/4로 바뀝니다. 따라서 두 번의 빨간 공 사건은 독립이 아닙니다.

두 번 모두 빨강일 확률은 3/5 × 2/4 = 30%입니다. 첫 확률을 그대로 두 번 곱한 3/5 × 3/5 = 36%가 아닙니다.[3]

독립이 아닐 때도 확률을 곱할 수 있지만, 뒤쪽에는 앞선 조건을 반영한 확률이 필요합니다.

AI에게 두 번 물었다고 실패 확률을 곱해도 될까요?

어떤 작업의 실패 확률이 각각 20%라고 가정해 보겠습니다. 두 번 모두 실패할 확률을 4%라고 계산하려면 두 실패가 독립이라는 조건이 필요합니다.

같은 모델과 자료를 사용하면 같은 잘못된 정보나 누락된 문서 때문에 실패가 함께 나타날 수 있습니다. 서비스 장애처럼 공통 원인이 두 실행에 영향을 줄 수도 있습니다.

표현이나 생성 결과가 달라졌다는 사실만으로 오류까지 독립이라고 볼 수는 없습니다.

따라서 반복 실행은 확인에 도움이 될 수 있지만, ‘두 번 물었으니 실패 확률이 제곱으로 줄었다’고 단정해서는 안 됩니다. 서로 다른 자료로 검증하는지, 공통 실패 원인이 있는지도 살펴야 합니다.

AI가 말한 80%는 무엇의 확률일까요?

분류 모델이 어떤 범주일 확률을 추정한 값과, 대화형 AI가 문장으로 ‘80% 확신합니다’라고 말한 것은 구분해야 합니다. 숫자가 붙었다는 이유만으로 검증된 확률이 되지는 않습니다.

확률을 출력하는 모델에서도 실제 비율과 잘 맞는지 확인해야 합니다. 이런 일치 정도를 살피는 개념이 확률 보정 또는 캘리브레이션입니다.

잘 보정된 이진 분류 모델이라면, 특정 범주일 확률을 약 0.8로 예측한 사례들을 모았을 때 실제로 그 범주인 비율이 약 80%여야 한다는 식으로 평가합니다.[4]

이것도 사례 열 개마다 정확히 여덟 개가 맞는다는 약속은 아닙니다. 어떤 데이터에서 어떻게 검증한 확률인지 함께 읽어야 합니다.

흔한 오해

“확률 20%면 열 번 중 정확히 두 번 일어난다.” 작은 횟수 안에서 정확한 개수나 순서를 보장하는 말은 아닙니다.

“조건부 확률은 항상 전체 확률보다 높다.” 조건에 따라 높아지거나 낮아지거나 같을 수 있습니다.

“P(A|B)와 P(B|A)는 같다.” 분모가 되는 조건이 다릅니다. 일반적으로 같지 않습니다.

“독립이면 두 사건은 동시에 일어나지 않는다.” 독립과 배반은 다릅니다. 독립 사건도 함께 일어날 수 있습니다.

“다른 채팅에서 물었으니 두 오류는 독립이다.” 모델과 자료, 실패 원인이 겹칠 수 있습니다. 실행을 나눴다는 사실만으로 독립성이 입증되지는 않습니다.

그래서 무엇을 기억해야 할까요?

확률은 조건과 함께 읽어야 합니다. 전체에서의 비율과 특정 집단 안에서의 비율은 다를 수 있고, 조건의 방향을 뒤집으면 다른 질문이 됩니다.

두 확률을 단순히 곱할 때는 독립이라는 가정이 있는지도 확인해야 합니다. AI의 반복 실행과 교차 확인에서도 같은 기준이 필요합니다.

몇 퍼센트인지 보기 전에, 무엇을 전체로 삼았고 어떤 조건에서 계산했는지 확인하세요.

숫자 하나만 보는 대신 사건·분모·조건·가정을 함께 읽는 것, 그것이 확률을 검증 가능한 정보로 받아들이는 출발점입니다.

확인한 자료

1. OpenStax — Introductory Statistics 2e, 3.1 Terminology: 사건·표본공간·조건부 확률의 정의와 계산 조건 확인.
2. OpenStax — 3.2 Independent and Mutually Exclusive Events: 독립과 배반의 구분 확인.
3. OpenStax — 3.3 Two Basic Rules of Probability: 조건부 확률을 사용하는 곱셈 규칙 확인.
4. scikit-learn — Probability calibration: 예측 확률과 관측 비율의 일치에 관한 설명 확인.