함께 늘었다고, 원인이라고 볼 수 있을까?상관관계와 인과관계

안녕하세요, DECHIVE입니다.

AI에게 긴 질문을 보낸 사람일수록 답변에 만족하는 비율이 높았다고 해봅시다.

그렇다면 질문을 길게 쓰면 답변 품질이 좋아진다고 말해도 될까요?

길이 자체가 도움이 되었을 수도 있습니다. 하지만 AI에 익숙한 사람이 필요한 조건을 잘 적으면서 질문도 길어졌을 수 있습니다. 질문 길이와 함께 들어간 정보의 종류가 중요했을 수도 있습니다.

두 값이 함께 움직였다는 관찰과, 하나를 바꿔 다른 결과를 만들 수 있다는 주장은 다릅니다. 이번 글에서는 상관관계와 인과관계의 차이를 살펴보겠습니다.

한 문장으로 먼저 정리하면

상관관계는 두 값이 함께 변하는 경향을, 인과관계는 한 요인을 바꾸었을 때 그 변화가 결과에 영향을 주는 관계를 뜻합니다.

상관관계는 원인을 찾는 단서가 될 수 있습니다. 다만 그 관찰만으로 원인과 결과를 확정할 수는 없습니다. NIST도 산점도에서 관련성을 발견하는 것과 인과관계를 입증하는 것을 구분합니다.[1]

함께 움직이는 데에는 여러 설명이 가능합니다

어떤 자료에서 X가 클수록 Y도 큰 경향이 나타났다고 해봅시다. 같은 관찰을 설명하는 구조는 하나가 아닐 수 있습니다.

첫째, X가 Y에 영향을 줄 수 있습니다. 추가한 참고 정보가 답변에 필요한 조건을 전달해 결과를 개선했을 가능성입니다.

둘째, Y 쪽 변화가 X에 영향을 줄 수 있습니다. AI가 잘 도와준다고 느낀 사람이 이후에 더 자주, 더 자세히 질문할 수도 있습니다. 관찰된 관계를 해석할 때 원인과 결과의 방향이 반대일 가능성을 역인과라고 부릅니다.

셋째, 다른 요인 Z가 둘 다에 영향을 줄 수 있습니다. 사용자의 숙련도가 높아서 질문에 필요한 조건을 더 잘 적고, 결과를 활용하는 능력도 높았을 수 있습니다.

여기에 우연, 측정 방식, 자료 선택 과정 같은 다른 설명이 더해질 수도 있습니다. 아래 도식은 가능한 구조를 구분한 것으로, 실제 서비스에서 확인한 인과관계를 뜻하지 않습니다.

교란 변수는 비교를 헷갈리게 만듭니다

AI를 사용한 집단의 성과가 사용하지 않은 집단보다 높았다고 해봅시다. 그런데 AI를 사용한 쪽에 숙련자가 더 많았다면 어떨까요?

성과 차이에 도구의 효과와 원래의 숙련도 차이가 함께 들어갈 수 있습니다. 이때 숙련도처럼 도구 사용 여부와 결과를 함께 설명해 인과 효과의 해석을 어렵게 하는 요인을 교란 변수라고 부를 수 있습니다.[2]

그래서 ‘다른 요인도 영향을 줄 수 있다’는 생각만으로 끝내기보다, 두 집단이 처음부터 어떻게 달랐는지 살펴봐야 합니다.

사용자 숙련도, 작업 난이도, 작업 시간, 사용한 모델 버전, 제공된 참고 자료 등이 비교에 영향을 줄 수 있습니다. 어떤 요인을 고려해야 하는지는 해당 상황의 구조에 따라 달라집니다.

단순히 변수를 많이 기록하거나 통계 모델에 많이 넣는다고 자동으로 인과관계가 밝혀지는 것도 아닙니다. 무엇을 왜 비교하거나 조정하는지에 대한 근거가 필요합니다.

도입 후 성공률이 올랐어도, 도입 효과로 단정할 수는 없습니다

다음은 DECHIVE가 설명을 위해 만든 가상 예시입니다. 실제 도구를 측정한 결과가 아닙니다.

어떤 팀이 AI 도구 도입 전후의 작업 성공률을 비교했습니다. 각 기간에 작업 100건을 평가했고, 쉬운 작업의 성공률은 90%, 어려운 작업의 성공률은 40%로 같다고 놓겠습니다.

달라진 것은 작업의 구성입니다.

전체 성공률은 60%에서 80%로, 20%포인트 올랐습니다.

하지만 쉬운 작업은 전후 모두 90%, 어려운 작업은 전후 모두 40%였습니다. 이 예시의 전체 상승은 성공하기 쉬운 작업의 비중이 40%에서 80%로 늘어난 것으로 설명됩니다.

따라서 이 합계만 보고 “AI 도입이 성공률을 20%포인트 높였다”고 말할 수는 없습니다.

현실에서 이런 표가 나왔다고 해서 곧바로 “AI 효과는 0이다”라고 결론 내리는 것도 조심해야 합니다. 더 세부적인 조건이 다르거나 표본 변동이 있을 수 있습니다.

이 예시의 핵심은 합계의 전후 차이만으로 도입 효과를 식별할 수 없다는 것입니다. 어제 살펴본 표본 구성의 문제는 원인을 판단할 때도 이어집니다.

인과관계는 ‘바꾸지 않았더라면’과의 비교를 요구합니다

도입 후 결과만 보는 대신 다음 질문을 생각해볼 수 있습니다.

“같은 시기에 비슷한 작업을 AI 없이 처리했다면 결과가 어땠을까?”

우리가 알고 싶은 효과는 AI를 쓴 결과와, 비교 가능한 조건에서 쓰지 않았을 때의 결과 차이입니다. 그런데 동일한 작업의 동일한 순간을 두 방식으로 동시에 관찰하기는 어렵습니다.

그래서 인과 효과를 알아보려면 비교 대상을 설계해야 합니다. 시간만 지나도 사용자가 익숙해지거나 작업 종류와 운영 방식이 바뀔 수 있으므로, 이전 기간이 언제나 적절한 비교 대상은 아닙니다.

무작위 배정은 비교를 어떻게 도와줄까요?

가능한 방법 중 하나는 적격한 사용자나 작업을 AI 사용 집단과 비교 집단에 무작위로 배정하는 것입니다.

누가 AI를 사용할지 스스로 고르게 하면 숙련도나 의욕 같은 차이가 섞일 수 있습니다. 무작위 배정은 이런 체계적인 차이를 줄이고, 알려진 요인과 알려지지 않은 요인이 집단 사이에 평균적으로 균형을 이루도록 돕습니다.[2]

하지만 한 번 나눴다고 두 집단의 모든 조건이 정확히 같아지는 것은 아닙니다. 우연한 불균형이 남을 수 있고, 배정 이후의 이탈이나 규칙 미준수도 해석에 영향을 줍니다.

AI 도구의 효과를 비교한다면 다음을 미리 정할 수 있습니다.

• 무엇을 바꿀지: 도구 사용 여부, 특정 기능, 프롬프트 방식 등
• 무엇과 비교할지: 기존 방식 또는 다른 조건
• 무엇을 측정할지: 같은 성공 기준, 시간, 수정 횟수 등
• 무엇을 함께 기록할지: 난이도, 모델 버전, 실패·시간 초과 등
• 어떤 단위로 배정할지: 사용자, 작업, 팀 등

실험을 했다는 이름만으로 충분하지는 않습니다. 설계와 실행, 결과의 불확실성을 함께 확인해야 합니다.

무작위 추출과 무작위 배정은 다른 역할을 합니다

앞선 글에서 배운 표본 추출과 여기서 말하는 집단 배정을 구분하면 도움이 됩니다.

특정 커뮤니티에서 모집한 사람들을 무작위로 두 집단에 나눌 수는 있습니다. 그 실험이 잘 설계되었더라도 결과를 모든 사용자에게 그대로 적용할 수 있는지는 별도의 질문입니다.

반대로 전체에서 무작위로 조사 대상을 뽑았어도, 그 안에서 AI를 쓸지 말지 스스로 선택했다면 도구 사용 집단 사이의 교란이 남을 수 있습니다.

실험을 못 하면 원인을 전혀 알 수 없을까요?

반드시 그렇지는 않습니다. 관찰 자료에서도 적절한 연구 설계와 가정을 바탕으로 인과 효과를 추정하는 방법들이 있습니다.

다만 함께 변했다는 기록만 읽는 것보다 더 많은 근거가 필요합니다. 원인이 결과보다 앞섰는지, 비교 집단은 타당한지, 다른 설명을 어느 정도 배제했는지, 어떤 가정에 결론이 기대고 있는지 밝혀야 합니다.

이번 글에서는 특정 기법까지 다루지 않습니다. 상관만으로 인과를 단정하지 말라는 말은 원인을 영원히 알 수 없다는 뜻이 아니라, 그 주장에 맞는 비교와 근거를 요구한다는 뜻입니다.

상관계수도 원인 점수는 아닙니다

두 수치의 관계를 요약할 때 피어슨 상관계수 r을 사용할 수 있습니다. 두 변수에 변동이 있어 계수가 정의되는 경우, 값은 −1에서 1 사이이며 직선적인 관련성의 방향과 정도를 나타냅니다.[3]

• 1에 가까움: 함께 커지는 직선적 경향이 강함
• −1에 가까움: 하나가 커질 때 다른 하나가 작아지는 직선적 경향이 강함
• 0에 가까움: 직선적 관련성이 약함

r=0.9는 원인일 확률이 90%라는 뜻이 아닙니다. 인과 방향을 알려주는 숫자도 아닙니다.

또 r=0이라고 두 변수 사이에 아무 관계도 없다고 말할 수는 없습니다. 곡선 형태의 관계는 직선적 상관계수가 작거나 0이어도 나타날 수 있습니다. 이상값 하나가 상관계수를 크게 바꿀 수도 있으므로 산점도와 자료의 조건을 함께 봐야 합니다.[3]

흔한 오해

“상관관계는 의미가 없다.” 예측과 탐색에 유용한 단서가 될 수 있습니다. 다만 원인을 확정하는 역할과 구분해야 합니다.

“도입 뒤 좋아졌으니 도입 때문에 좋아진 것이다.” 시간에 따라 함께 바뀐 작업 구성과 환경도 확인해야 합니다.

“상관이 아주 강하면 원인이라고 봐도 된다.” 강한 관련성에도 공통 원인, 역인과, 자료 선택 같은 다른 설명이 있을 수 있습니다.

“A/B 테스트라는 이름이면 인과관계가 입증된다.” 실제 배정 방식, 비교 조건, 이탈과 측정 기준을 확인해야 합니다.

“인과관계를 확인하면 모든 사람에게 효과가 있다.” 어떤 대상과 조건에서 확인한 효과인지 구분해야 합니다. 평균 효과와 개인별 결과도 같지 않을 수 있습니다.

그래서 무엇을 기억해야 할까요?

함께 움직이는 패턴을 발견하는 것과, 한 요인을 바꿔 다른 결과를 만들 수 있음을 확인하는 것은 다른 단계입니다.

AI 도입 뒤 성공률이 올라도, 작업 구성이 쉬운 쪽으로 바뀌었다면 합계 상승을 도구의 효과라고 단정할 수 없습니다. 관찰한 차이를 설명할 다른 가능성과 비교 조건을 살펴봐야 합니다.

‘같이 달라졌다’에서 멈추지 말고, ‘그 요인을 바꾸지 않았어도 같은 변화가 생겼을까?’를 물어보세요.

AI의 효과를 검증할 때도 성과 숫자만큼 중요한 것은 비교의 설계입니다. 무엇을 관찰했고 무엇까지 원인으로 말할 수 있는지 나누면, 좋아 보이는 결과를 더 정확하게 읽을 수 있습니다.

확인한 자료

1. NIST — Scatter Plot: 관련성 탐색과 인과 해석의 구분.
2. Penn State STAT 100 — Characteristics of Good Sample Surveys and Comparative Studies: 교란 변수와 무작위 비교 실험.
3. UC Berkeley — Correlation and Association: 피어슨 상관계수의 의미, 비선형 관계와 이상값의 영향.

작업 구성과 성공률은 설명용 가상 예시입니다. 실제 AI 도구의 효과나 측정 결과를 나타내지 않습니다.