엔트로피와 크로스 엔트로피 차이AI의 예측은 어떻게 평가할까?

엔트로피는 한 확률분포의 불확실성을, 크로스 엔트로피는 실제 결과의 분포를 기준으로 예측 분포를 평가한 값을 나타냅니다. 엔트로피를 계산하려면 분포 하나가 필요하고, 크로스 엔트로피를 계산하려면 기준 분포와 예측 분포가 필요합니다.

예측이 얼마나 확신에 차 있는지와, 그 예측이 실제 결과를 잘 설명하는지는 다른 질문입니다. 파란 공이 나올 확률을 90%로 보는 예측과 10%로 보는 예측은 똑같이 한쪽으로 치우쳐 있습니다. 하지만 실제로 파란 공이 자주 나온다면 두 예측을 같은 점수로 평가할 수는 없습니다.

이 차이를 이해하면 AI 설명에서 자주 만나는 엔트로피, 교차 엔트로피, 로그 손실을 하나의 흐름으로 연결할 수 있습니다.

엔트로피란? 결과를 알기 전의 불확실성

상자에서 공을 하나 뽑는 상황을 생각해봅시다. 공은 파란색과 주황색 두 종류이고, 뽑은 뒤에는 다시 넣고 섞습니다. 이번 글의 확률은 원리를 설명하기 위해 정한 가상 조건입니다.

두 상자의 구성이 다음과 같다면 어느 쪽이 다음 색을 예상하기 어려울까요?

B에서도 주황 공이 나올 수 있습니다. 다만 A보다 파란색 쪽으로 예상이 기울어집니다. 두 가지 결과만 가능한 이 조건에서는 50%·50%일 때 엔트로피가 가장 높고, 한쪽 확률이 100%이면 0입니다.[1]

확률분포를 p라고 하면 이산 엔트로피의 공식은 다음과 같습니다.

H(p) = −Σᵢ pᵢ log₂ pᵢ

i는 가능한 색을 가리킵니다. 각 색에 대해 −log₂(그 색의 확률)을 계산하고, 실제로 그 색이 나올 확률만큼 가중해 더합니다. 공식에서 확률이 0인 항은 0으로 취급합니다.

이 글은 로그의 밑을 2로 통일하므로 단위는 비트(bit)입니다.

• 상자 A: −0.5 log₂ 0.5 − 0.5 log₂ 0.5 = 1비트
• 상자 B: −0.9 log₂ 0.9 − 0.1 log₂ 0.1 ≈ 0.469비트

여기서 엔트로피는 그 분포 자체를 설명합니다. 모델이 내놓은 예측 분포의 엔트로피가 낮아도, 그 예측이 현실과 맞는지는 아직 모릅니다. 실제와 반대 방향으로 확신해도 낮게 나올 수 있기 때문입니다.

왜 확률에 로그를 붙일까?

로그는 거듭제곱을 거꾸로 읽는 계산입니다. log₂ 8 = 3은 ‘2를 몇 번 곱하면 8이 되는가?’의 답이 3이라는 뜻입니다.

정보이론에서는 어떤 결과에 확률 q를 부여했을 때, 그 결과가 관측되면 −log₂ q로 정보량을 표현합니다. 예상하기 드물었던 결과일수록 큰 값이 됩니다.[1]

예측을 평가할 때도 이 계산을 사용할 수 있습니다. 파란 공이 실제로 나왔다면, 파란색에 90%를 준 예측은 약 0.152, 10%를 준 예측은 약 3.322의 손실을 받습니다. 관측된 결과에 낮은 확률을 줄수록 더 큰 손실이 생깁니다.

로그에는 곱셈을 덧셈으로 바꾸는 성질도 있습니다. 예를 들어 독립적인 두 결과의 확률이 각각 1/2이면 함께 일어날 확률은 1/4입니다. 정보량은 −log₂(1/4) = 2이며, 각각의 정보량 1 + 1과 같습니다.

이 덕분에 여러 결과에 대한 확률을 다룰 때 개별 항을 더하는 형태로 계산할 수 있습니다.

크로스 엔트로피란? 실제 분포로 예측에 점수 매기기

이제 실제 공 뽑기의 분포를 파란색 90%, 주황색 10%로 고정해봅시다. 이 기준 분포를 p, 예측한 분포를 q라고 부르겠습니다.

크로스 엔트로피는 다음과 같습니다. 한국어로는 교차 엔트로피라고도 합니다.

H(p, q) = −Σᵢ pᵢ log₂ qᵢ

엔트로피 공식과 나란히 보면 차이가 드러납니다.

• 엔트로피: 실제 분포 p의 확률에 로그를 붙임
• 크로스 엔트로피: 예측 분포 q의 확률에 로그를 붙임
• 두 계산 모두: 기준 분포 p의 확률로 각 항을 가중함

즉, 실제로 나타날 결과들을 기준으로 예측의 로그 손실을 평균 낸 값입니다.[2]

실제 분포 p=(0.9, 0.1)을 놓고 세 예측을 비교하겠습니다.

예측 C를 계산해보면 다음과 같습니다.

H(p, q_C) = −0.9 log₂(0.1) − 0.1 log₂(0.9) ≈ 3.005

자주 나오는 파란색에 10%밖에 주지 않아 큰 손실이 자주 발생합니다. 드물게 주황색이 나오면 작은 손실을 받지만, 기준 분포로 평균 내면 전체 점수는 높습니다.

앞에서 본 3.322와 이 표의 3.005는 다른 값입니다. 3.322는 파란색이 한 번 나왔을 때의 손실, 3.005는 실제 분포에서 두 색의 손실을 가중평균한 값입니다.

예측 A의 점수가 0이 아닌 이유도 중요합니다. 실제 공 뽑기 자체에 불확실성이 남아 있기 때문입니다. 분포를 정확히 예측하는 것과 매번 나올 색을 확실히 아는 것은 다릅니다.

같은 기준 분포에 대해 예측이 정확히 일치하면 크로스 엔트로피는 그 분포의 엔트로피와 같아집니다. 따라서 크로스 엔트로피 전체를 단순히 ‘분포 사이의 차이’라고만 이해하면 불확실성 자체에 해당하는 부분을 놓칩니다.[2]

AI에서는 왜 손실함수로 사용할까?

공 뽑기 예시에서는 실제 확률을 알고 있다고 가정했습니다. 실제 AI 학습에서는 보통 입력과 정답이 붙은 데이터를 사용합니다.

예를 들어 사진 한 장의 정답이 고양이라면, 정답 분포를 고양이 1, 다른 범주 0으로 표현할 수 있습니다. 이를 원핫(one-hot) 정답이라고 합니다. 추가 보정을 하지 않는 기본 계산에서, 이때 크로스 엔트로피는 정답 범주에 준 확률의 음의 로그로 줄어듭니다.[4]

L = −log₂ q(정답)

정답이 고양이인 사진에서 고양이에 90%를 준 경우와 60%를 준 경우는 모두 고양이를 1순위로 골랐습니다. 정확도만 보면 둘 다 정답입니다. 하지만 로그의 밑이 2일 때 손실은 각각 약 0.152와 0.737로 다릅니다.

크로스 엔트로피는 맞혔는지뿐 아니라 정답에 얼마의 확률을 주었는지도 반영합니다. 확률을 예측하는 모델을 학습할 때 이런 손실을 줄이는 방향으로 매개변수를 조정할 수 있습니다. Google의 머신러닝 교육 자료도 로지스틱 회귀에서 로그 손실을 사용한다고 설명합니다.[3]

물론 정답에 높은 확률을 주도록 학습한다는 것이 무조건 확신만 키우면 좋다는 뜻은 아닙니다. 틀린 범주에 확신을 몰아주면 실제 정답의 확률이 작아져 손실이 커집니다.

손실 숫자를 읽을 때 확인할 세 가지

첫째, 로그의 밑이 같은지 확인해야 합니다. 이 글은 이해를 돕기 위해 밑이 2인 로그를 썼지만, 실제 구현에서는 자연로그를 많이 사용합니다. 자연로그를 사용하면 단위는 나트(nat)이고 숫자도 달라집니다. 예를 들어 −log₂ 0.9 ≈ 0.152지만 −ln 0.9 ≈ 0.105입니다.[2]

둘째, 같은 자료와 계산 기준에서 비교해야 합니다. 한 건의 손실인지 여러 건의 평균인지, 합계인지도 확인해야 합니다. 정답 분포가 다른 작업 사이에서는 손실 숫자만 나란히 놓고 모델의 우열을 단정하기 어렵습니다.

셋째, 학습 손실과 실제 사용 성능은 구분해야 합니다. 학습에 사용한 자료의 손실이 낮아도 처음 보는 자료에서 잘할지는 별도로 평가해야 합니다. 잘못된 정답이나 치우친 자료를 바탕으로 계산하면 그 점수도 해당 기준에 묶입니다.

엔트로피를 보면 어느 분포의 불확실성인지, 크로스 엔트로피를 보면 어떤 정답과 어떤 예측을 비교했는지를 확인하세요. 이 두 질문을 구분하면 AI가 확신하는 정도와 예측을 잘하는 정도를 혼동하지 않을 수 있습니다.

참고 자료

1. Dive into Deep Learning — Information Theory: 정보량, 로그와 엔트로피.
2. SciPy — scipy.stats.entropy: 엔트로피·크로스 엔트로피의 공식과 로그 밑에 따른 단위.
3. Google Machine Learning Crash Course — Loss and regularization: 확률 예측 모델의 로그 손실.
4. PyTorch — CrossEntropyLoss: 범주 정답과 예측 확률에 대한 교차 엔트로피.

공 뽑기와 예측 확률은 설명용 가상 예시입니다. 수치는 소수 셋째 자리까지 반올림했으며 실제 모델의 측정 결과가 아닙니다.