많이 모은 데이터면 믿어도 될까?표본·모집단·선택 편향

안녕하세요, DECHIVE입니다.

어떤 AI 도구를 써본 200명에게 작업 성공 여부를 물었습니다. 그중 86%가 성공했다고 답했습니다.

이 도구의 전체 사용자 성공률도 86%라고 말해도 될까요?

먼저 누가 그 200명에 포함되었는지 봐야 합니다. AI에 익숙한 사람만 모인 커뮤니티에서 답을 받았다면, 처음 쓰는 사용자가 많은 전체 집단과는 결과가 다를 수 있습니다.

앞선 글에서는 평균과 퍼짐으로 숫자를 읽는 방법을 살펴봤습니다. 이번에는 한 단계 앞에서 그 숫자를 만든 자료가 누구를 대표하는지 확인해보겠습니다.

한 문장으로 먼저 정리하면

모집단은 우리가 알고 싶은 전체 대상이고, 표본은 실제로 살펴본 일부이며, 선택 편향은 자료에 포함되는 과정의 치우침 때문에 알고 싶은 전체에 대한 판단이 체계적으로 어긋나는 문제입니다.

표본을 조사하는 것 자체가 잘못은 아닙니다. 시간과 비용 때문에 일부를 관찰해 전체를 추정하는 일은 흔합니다. 중요한 것은 어떤 방법으로 일부를 골랐고, 그 결과를 어디까지 적용할 수 있는가입니다.[1]

모집단부터 구체적으로 정해야 합니다

‘전체 사용자’라는 말도 자세히 보면 모호합니다.

무료 사용자와 유료 사용자를 모두 포함할까요? 가입만 하고 사용하지 않은 사람은 어떨까요? 지난달 사용자와 이번 달 사용자를 한데 묶어도 될까요?

예를 들어 이번에 알고 싶은 대상을 다음처럼 정할 수 있습니다.

“10월에 이 도구로 지정된 작업을 한 번 시도한 사용자 1,000명”

조사 단위도 사용자 한 명인지 작업 한 건인지 구분해야 합니다. 사용자 한 명이 작업을 100번 했다면 ‘작업 100건’과 ‘사용자 100명’은 다른 자료입니다.

모집단은 언제나 사람일 필요도 없습니다. 특정 기간에 들어온 요청 전체, 생산된 부품 전체, 검사할 문서 전체가 될 수도 있습니다.

누구 또는 무엇에 대한 결론을 원하는지 정해야 어떤 자료가 빠졌는지도 보입니다.

같은 도구라도 어떤 사용자를 모았는지에 따라 숫자가 달라집니다

다음은 DECHIVE가 설명을 위해 만든 가상 예시입니다. 실제 제품을 측정한 결과가 아닙니다. 편향의 구조를 확인하기 위해 전체 결과도 알고 있다고 가정하겠습니다.

전체 사용자 1,000명 중 숙련 사용자는 200명, 초보 사용자는 800명입니다. 모두 같은 기준의 작업을 한 번 시도했습니다.

그런데 숙련 사용자가 많이 모인 커뮤니티에서 조사 응답 200개를 받았다고 해봅시다. 응답자는 숙련 사용자 180명, 초보 사용자 20명이었습니다.

이 예시에서는 계산을 단순하게 보여주기 위해 응답자 안에서도 각 집단의 성공률이 90%와 50%로 같다고 놓았습니다.

응답자 200명의 성공률은 172 ÷ 200 = 86%입니다. 이 계산 자체는 맞습니다.

하지만 우리가 알고 싶은 전체 1,000명의 성공률은 58%였습니다. 두 숫자는 28%포인트 차이가 납니다.

전체에서 숙련 사용자는 20%인데 응답자에서는 90%입니다. 성공률이 높은 집단이 응답 자료에 훨씬 큰 비중으로 들어온 것입니다.

따라서 “응답자 200명 중 86%가 성공했다”는 설명과 “전체 사용자의 86%가 성공한다”는 주장은 구분해야 합니다.

선택 편향은 데이터를 모으는 여러 단계에서 생깁니다

선택 편향을 누군가 일부러 좋은 사례만 고르는 상황으로만 생각하기 쉽습니다. 하지만 평범한 수집 과정에서도 생길 수 있습니다.

• 조사 기회: 특정 커뮤니티 회원에게만 설문이 보입니다.
• 참여 결정: 시간이나 관심이 있는 사람만 응답합니다.
• 계속 사용 여부: 불편해서 떠난 사람은 현재 사용자 조사에 나타나지 않습니다.
• 기록 조건: 성공한 작업만 저장되고 실패나 시간 초과는 빠집니다.
• 공개 조건: 공유할 만한 결과만 후기나 데모로 올라옵니다.

이 단계들이 있다고 언제나 편향이 생긴다고 단정할 수는 없습니다. 포함될 가능성이 우리가 측정하려는 결과와 어떤 관계가 있는지를 살펴봐야 합니다.

예를 들어 응답하지 않은 사람의 성공 경험이 응답한 사람과 다르다면 무응답이 추정에 영향을 줄 수 있습니다. 반대로 응답률 숫자 하나만으로 편향의 크기와 방향을 확정할 수는 없습니다.[2]

만족한 사람이 더 적극적으로 후기를 남길 수도 있지만, 불만이 큰 사람이 더 적극적으로 남길 수도 있습니다. 실제 참여 과정을 확인하지 않고 어느 쪽으로 치우쳤다고 미리 결론 내리면 안 됩니다.

데이터가 많아지면 해결될까요?

자료를 더 모으면 줄어드는 문제와, 수집 방법을 바꿔야 하는 문제를 구분해야 합니다.

확률표집에서 일부만 관찰하기 때문에 생기는 우연한 표본 변동은 적절한 설계 아래 표본 크기를 늘려 줄일 수 있습니다. 하지만 특정 대상이 계속 빠지거나 과도하게 포함되는 체계적인 치우침은 크기만 늘린다고 자동으로 사라지지 않습니다.[3]

앞선 가상 예시에서 숙련 사용자가 90%인 구성으로 계속 응답을 모으면, 숙련 사용자가 20%인 전체 집단과의 차이를 그대로 남길 수 있습니다.

더 많은 자료로 같은 치우침을 더 안정적으로 반복할 수도 있습니다.

그렇다고 작은 표본이 더 낫다는 뜻도 아닙니다. 필요한 것은 충분한 수와 적절한 수집 방법입니다. 크기는 중요하지만, 수집 과정의 검토를 대신하지는 못합니다.

무작위로 뽑으면 모든 문제가 없어질까요?

무작위 추출은 뽑는 사람의 선호가 끼어드는 것을 줄이는 데 도움이 됩니다. 다만 무엇에서 무작위로 뽑았는지가 중요합니다.

숙련 사용자 커뮤니티 회원 목록에서 무작위로 뽑아도, 그 목록에 없는 초보 사용자에게는 선택 기회가 없습니다. 전체 사용자에 대한 결론을 원한다면 추출에 사용한 목록이 누구를 포함하는지 확인해야 합니다.[2]

또 무작위로 초대했다고 해서 모두 응답하는 것은 아닙니다. 조사 뒤에 특정 집단의 응답이 더 많이 빠질 수 있습니다. 우연히 표본 구성이 달라질 수도 있습니다.

참고로 확률표집이 언제나 모든 사람을 같은 확률로 뽑는 방식인 것은 아닙니다. 집단별로 다른 확률을 쓰고, 분석에서 그 설계를 반영할 수도 있습니다. 구성비가 다르다는 이유만으로 모든 표본설계가 잘못되었다고 판단해서도 안 됩니다.

이번 예시의 문제는 응답자 구성을 그대로 합산한 86%를 전체 사용자에게 적용하는 데 있습니다.

가중치를 주면 고칠 수 있을까요?

전체에서 숙련·초보가 차지하는 비중을 알고 있고, 각 집단 안의 성공률을 적절하게 추정할 수 있다면 그 비중을 반영해 계산할 수 있습니다.

앞의 가상 예시에서는 다음처럼 됩니다.

숙련 20% × 성공률 90% + 초보 80% × 성공률 50% = 58%

하지만 이 예시에서는 집단 안의 성공률이 전체와 같다는 가정을 넣었습니다. 실제 자료에서 그 조건까지 자동으로 성립하는 것은 아닙니다.

응답한 초보자가 전체 초보자보다 더 익숙한 사람들일 수도 있습니다. 아예 관찰하지 못한 집단의 결과를 가중치만으로 알아낼 수도 없습니다. 가중치 조정은 보정 수단이지, 모르는 부분을 없애는 보증서는 아닙니다.[2]

AI를 평가할 때는 무엇을 기록해야 할까요?

AI 도구를 직접 비교한다면 어떤 결과를 남길지부터 정하는 편이 좋습니다.

성공한 작업만 모아 응답 시간을 계산하면, 실패한 작업이나 기다리다 포기한 요청은 보이지 않을 수 있습니다. 짧은 질문만으로 평가하고 긴 문서 처리까지 잘된다고 말하는 것도 적용 범위를 넓힌 주장입니다.

다음 항목을 함께 기록하면 해석이 쉬워집니다.

• 평가하려는 사용자 또는 작업의 범위
• 자료를 모집하거나 추출한 경로
• 시도·완료·실패·시간 초과 건수
• 제외한 자료와 제외 이유
• 작업 유형이나 사용자 경험별 결과
• 결과를 적용할 수 있는 범위와 아직 확인하지 못한 대상

예를 들어 “짧은 한국어 질문 100건 중 92건이 정해진 기준을 통과했다”고 쓰면 평가 대상을 알 수 있습니다. 같은 자료를 “모든 업무에서 정확도 92%”라고 바꾸면 관찰 범위를 넘어갑니다.

좋은 평가는 숫자를 계산하는 기준과 그 숫자가 적용되는 대상을 함께 밝힙니다.

흔한 오해

“표본이 크면 전체를 대표한다.” 큰 표본도 특정 대상에 치우칠 수 있습니다. 크기와 수집 과정을 함께 봐야 합니다.

“선택 편향은 일부러 조작했을 때만 생긴다.” 모집 경로, 참여, 이탈, 기록 조건 때문에 의도 없이 생길 수도 있습니다.

“후기가 적으면 틀리고, 많으면 맞다.” 후기는 관찰된 경험을 보여줍니다. 전체에 대한 결론을 내려면 누가 후기를 남길 수 있었고 실제로 남겼는지도 봐야 합니다.

“모집단은 언제나 모든 사람이다.” 질문에 따라 달라집니다. 특정 기간의 사용자나 작업 전체처럼 범위를 정해야 합니다.

“전부 조사하면 오류가 없다.” 대상 전체를 조사하더라도 측정·응답·기록 처리 과정의 오류는 남을 수 있습니다.[3]

그래서 무엇을 기억해야 할까요?

표본은 전체를 알아보기 위한 관찰의 출발점입니다. 하지만 자료에 포함된 일부를 설명하는 것과 전체를 추정하는 것은 같은 일이 아닙니다.

응답자 200명 중 86%가 성공했다는 계산이 맞아도, 그 응답자가 누구인지에 따라 전체 성공률과는 다를 수 있습니다. 더 많은 자료를 모아도 빠지는 대상과 치우친 경로가 그대로라면 문제가 남습니다.

데이터가 얼마나 많은지와 함께, 누가 들어왔고 누가 빠졌는지를 확인하세요.

AI의 성능, 사용자 후기, 설문 결과를 읽을 때도 같은 질문이 필요합니다. 그 숫자가 어떤 대상을 실제로 관찰했으며, 어디까지 설명할 수 있는지 확인하는 것이 검증의 시작입니다.

확인한 자료

1. OpenStax — Data, Sampling, and Variation in Data and Sampling: 표본 수집과 표집 방법.
2. Statistics Canada — Questions to ask about surveys: 모집단, 추출 범위, 무응답과 가중치 검토.
3. Statistics Canada — Non-sampling error: 체계적 편향과 표본 크기, 비표본오차.

사용자 구성과 성공률은 설명용 가상 예시입니다. 실제 도구의 성능이나 조사 결과를 나타내지 않습니다.