판별형 AI와 생성형 AI는 무엇이 다른가

판별형 AI와 생성형 AI는 무엇이 다른가

가장 널리 쓰이는 설명은 이렇다. 판별형 AI는 주어진 것 중에서 고르고, 생성형 AI는 없던 것을 만든다.

틀린 말은 아니다. 그런데 이건 결과를 말한 것이지 차이 자체를 말한 것이 아니다. 왜 한쪽은 만들 수 있고 한쪽은 못 하는지, 왜 생성형 AI는 같은 질문에 매번 다르게 답하는지, 왜 생성형 AI만 '환각'이라는 문제를 갖는지 — 이 질문들에는 답하지 못한다.

차이는 그보다 한 단계 앞에서 시작된다.

판별형은 답을 가르는 경계를 배우고, 생성형은 데이터가 어떤 모양으로 퍼져 있는지를 배운다.

만들 수 있느냐 없느냐는 여기서 따라 나오는 결과다.

그리고 이 주제에는 함정이 하나 더 있다. 판별 모델·생성 모델이라는 말과 판별형 AI·생성형 AI라는 말이 서로 다른 것을 가리킨다. 둘을 갈라놓지 않으면 이 주제는 계속 헷갈린다. 그래서 축을 나누는 것부터 시작한다.

두 개의 질문을 갈라야 한다

이 주제를 이야기할 때 사실 서로 다른 두 질문이 섞여 있다.

첫째, 모델이 무엇을 모델링하는가. 모델의 구조와 학습 방식에 대한 질문이다. 여기서 나오는 구분이 판별 모델(discriminative model) 과 생성 모델(generative model) 이다. 머신러닝 분야에서 오래전부터 써온 기술적 분류이며, 인공지능이란 무엇인가에서도 이 구분이 일상 용법과 어긋나는 지점을 짚은 바 있다.

둘째, 그 모델로 무엇을 하는가. 용도에 대한 질문이다. 여기서 나오는 구분이 판별형 AI와 생성형 AI다. 분류·예측·인식을 하느냐, 새 데이터를 만들어내느냐의 문제다.

두 질문의 답은 대체로 같이 가지만, 항상 같이 가지는 않는다. 어긋나는 경우들이 이 주제에서 사람들이 헷갈리는 지점 전부를 만들어낸다.

한 문장으로 미리 말해두면 이렇다.

생성형 AI는 반드시 생성 모델 위에 서 있다. 그러나 생성 모델이 전부 생성형 AI인 것은 아니다.

이 관계가 한쪽 방향으로만 성립한다는 것이 이 글의 핵심이다.

판별 모델은 경계를 배우고, 생성 모델은 분포를 배운다

고양이 사진과 개 사진을 구분하는 문제를 생각해보자.

판별 모델은 이 질문만 푼다. 이 사진이 주어졌을 때, 고양이일 확률은 얼마인가. 고양이와 개를 가르는 경계가 어디인지만 알면 된다. 고양이가 실제로 어떻게 생겼는지는 몰라도 된다. 귀 모양과 얼굴 길이만으로 충분히 갈린다면 나머지는 배우지 않는다.

생성 모델은 더 큰 질문을 푼다. 고양이 사진이라는 것은 대체 어떤 모양의 데이터인가. 픽셀들이 어떤 조합으로 나타나는 경향이 있는지, 그 전체 지형을 배운다. 경계는 그 지형을 알고 나면 계산해서 얻을 수 있다.

확률로 정리하면 이렇다.

• 판별 모델은 입력이 주어졌을 때 답이 무엇일 확률만 모델링한다. 입력 자체가 어떻게 생겼는지는 모델링하지 않는다.

• 생성 모델은 데이터 자체가 어떻게 분포하는지를 모델링한다.

두 번째 문장은 경우에 따라 두 형태로 나타난다. 나이브 베이즈처럼 레이블이 있는 데이터를 다루는 생성 분류기는 입력과 레이블이 함께 나타날 확률을 모델링한다. 반면 오늘날의 언어 모델이나 이미지 생성 모델에는 레이블이라는 것이 없다. 이들은 데이터 그 자체가 나타날 확률만 모델링한다. 언어 모델이 배우는 것은 "어떤 텍스트가 그럴듯한가"이지 "이 텍스트의 정답이 무엇인가"가 아니다.

형태는 다르지만 공통점이 중요하다. 둘 다 경계가 아니라 지형을 배운다. 판별 모델이 하지 않는 일을 하고 있다는 점에서 같은 쪽이다.

여기서 방향이 갈린다. 지형을 아는 쪽은 그 안에서 한 점을 골라낼 수 있다. 경계선만 아는 쪽은 골라낼 지형이 없다. 생성형 AI가 새 데이터를 만들 수 있는 이유가 이것이다. 만드는 능력이 따로 붙어 있는 게 아니라, 분포를 알면 표본을 뽑을 수 있다는 성질에서 나온다.

뽑는다는 것

이 '뽑는다'가 생성형 AI의 여러 성질을 설명한다.

언어 모델을 예로 들면, 모델이 실제로 내놓는 것은 다음에 올 단어 하나가 아니다. 가능한 모든 단어에 대한 확률의 목록이다. 여기서 하나를 골라내는 단계가 그다음에 온다.

가장 확률 높은 것을 항상 고르게 할 수도 있고, 확률에 비례해 무작위로 뽑게 할 수도 있다. 후자를 택하면 같은 질문에도 매번 다른 답이 나온다. 챗봇의 답이 매번 달라지는 이유가 이것이다. 모델의 계산이 매번 달라지는 것이 아니라, 계산 결과인 확률 분포에서 뽑는 방식이 무작위인 것이다.

이건 모델의 성질이 아니라 사용 시점의 선택이다. 같은 모델도 설정을 바꾸면 매번 같은 답을 내놓게 만들 수 있다. 이 무작위성의 정도를 조절하는 값을 온도(temperature) 라 부른다. 온도를 낮추면 확률 높은 쪽으로 쏠려 안정적이지만 뻔해지고, 높이면 낮은 확률의 선택지도 자주 뽑혀 다양해지지만 엉뚱해질 여지가 커진다.

조건을 걸고 뽑는다

그런데 우리가 실제로 쓰는 방식은 이보다 한 겹 더 있다. 아무 고양이 사진이나 하나 뽑아달라고 하는 사람은 없다. "창가에 앉은 주황색 고양이"를 달라고 한다.

이것을 조건부 생성(conditional generation) 이라 한다. 분포 전체에서 아무거나 뽑는 것이 아니라, 주어진 조건에 맞는 부분에서만 뽑는 것이다.

이 관점에서 보면 프롬프트의 정체가 분명해진다.

프롬프트는 명령이 아니라 조건이다.

모델에게 무엇을 하라고 지시하는 것이 아니라, 방대한 분포 중 어느 영역에서 뽑을지를 지목하는 것이다. 언어 모델도 마찬가지다. 앞에 놓인 텍스트 전체가 조건이 되고, 모델은 "이 텍스트 다음에 올 법한 것들"의 분포를 계산한다.

프롬프트를 바꾸면 결과가 달라지는 이유가 여기 있다. 다른 명령을 내린 것이 아니라 분포의 다른 영역을 지목한 것이다. 프롬프트를 자세히 쓰면 결과가 좋아지는 것도 같은 이치다. 조건이 촘촘할수록 뽑히는 영역이 좁아지고, 원하는 것에서 멀어질 여지가 줄어든다.

이 성질에는 뒷면이 있다. 조건이 아무리 정교해도 뽑는 대상은 여전히 분포다. 프롬프트로 지목할 수 있는 것은 영역이지 특정한 하나의 정답이 아니다. 조건을 잘 걸면 원하는 것이 나올 확률이 높아질 뿐, 반드시 나온다는 보장은 생기지 않는다.

판별형 AI가 실제로 하는 일

생성형 AI가 화제가 되면서 판별형 쪽은 "그냥 분류하는 것" 정도로 뭉뚱그려지는 경우가 많다. 실제로는 여러 갈래가 있고, 지금 세상에서 돌아가는 AI의 대부분이 여기 속한다.

분류(classification) — 정해진 범주 중 하나를 고른다. 스팸인가 정상인가, 이 사진이 개인가 고양이인가, 이 제품이 정상인가 불량인가. 범주가 둘이면 이진 분류, 여럿이면 다중 분류라 한다.

회귀(regression) — 범주가 아니라 연속된 숫자를 예측한다. 집값이 얼마일지, 내일 수요가 몇 개일지, 남은 수명이 얼마일지.

객체 탐지(object detection) — 이미지 안에 무엇이 있는지뿐 아니라 어디에 있는지까지 찾는다. 자율주행에서 보행자와 신호등의 위치를 잡는 일이 여기 해당한다.

분할(segmentation) — 픽셀 단위로 경계를 나눈다. 의료 영상에서 종양의 정확한 윤곽을 잡거나, 사진에서 인물만 오려낼 때 쓴다.

순위 매기기(ranking) — 여러 후보를 관련도 순으로 정렬한다. 검색 결과와 추천 목록이 이 방식으로 만들어진다.

이상 탐지(anomaly detection) — 평소와 다른 것을 찾아낸다. 이상 거래 탐지, 설비 고장 예측 등. 다만 이 작업은 생성 모델로 푸는 경우도 많다. 정상 데이터의 분포를 배워두고, 거기서 멀리 벗어난 것을 이상으로 판정하는 방식이다. 용도는 판별인데 모델은 생성인 사례다.

주요 생성 모델 계열

이름과 역할만 밝힌다.

나이브 베이즈, 가우시안 혼합 모델 등 — 고전적 통계 기반 생성 모델. 주로 분류나 군집화에 쓰인다. 생성 용도로 쓰이는 일은 드물다.

GAN(Generative Adversarial Network) — 생성자와 판별자를 경쟁시켜 학습시키는 구조. 아래에서 따로 다룬다.

확산 모델(diffusion model) — 데이터에 잡음을 점점 더해가는 과정을 뒤집어, 잡음에서 출발해 조금씩 걷어내며 데이터를 만들어내는 방식. 2020년 논문이 이 방식으로 고품질 이미지 합성 결과를 보였고, 이후 이미지 생성의 주류가 됐다.

자기회귀 모델(autoregressive model) — 다음에 올 요소의 확률 분포를 예측하고, 뽑고, 그것을 다시 입력에 붙여 다음을 예측하기를 반복하는 방식. 오늘날의 대규모 언어 모델이 여기 속한다.

생성 모델이 전부 생성형 AI는 아니다

여기가 용어가 꼬이는 지점이다.

생성 모델은 데이터의 분포를 배운다. 그런데 분포를 알면 분류도 할 수 있다. 고양이 사진의 지형과 개 사진의 지형을 각각 알고 있으면, 새 사진이 어느 쪽 지형에 더 잘 들어맞는지 계산해서 답을 낼 수 있다.

실제로 그렇게 쓰는 모델이 있다. 나이브 베이즈(naive Bayes) 는 생성 모델이고, 오랫동안 스팸 메일 분류에 쓰였다. 하는 일은 분류다. 아무것도 만들지 않는다. 그리고 아무도 이것을 생성형 AI라고 부르지 않는다.

생성 모델이라는 말은 "데이터의 분포를 모델링한다"는 뜻이지, "새 데이터를 만든다"는 뜻이 아니다. 만들 수 있는 능력이 생기는 것은 맞지만, 그 능력을 쓰지 않고 분류에만 쓰는 경우가 흔하다.

최근에는 더 흔해졌다. 대규모 언어 모델은 전형적인 생성 모델인데, 감정 분류나 문서 분류에 쓰는 경우가 많다. 이때 그 시스템은 생성 모델이지만 판별 용도로 쓰이고 있다.

정리하면 네 칸이 나오는데, 한 칸이 비어 있다.

오른쪽 위 칸이 비어 있는 것이 요점이다. 판별 모델에는 뽑아낼 분포가 없다. 경계만 배웠기 때문이다. 반면 생성 모델은 양쪽 칸에 다 들어간다.

그래서 앞서 말한 관계가 성립한다. 생성형 AI는 반드시 생성 모델 위에 서지만, 생성 모델이 전부 생성형 AI인 것은 아니다.

정말로 불가능한가

여기에는 단서를 하나 달아야 한다. 학습된 분류기로부터 표본 비슷한 것을 끌어내는 연구 기법들이 존재한다. 분류기가 특정 범주에 강하게 반응하도록 입력을 거꾸로 조정해가면, 그 범주처럼 보이는 이미지가 만들어지기도 한다.

그런데 이런 기법들이 실제로 하는 일을 들여다보면, 분류기 안에 암묵적으로 들어 있던 분포를 되찾아내는 것에 가깝다. 판별 모델을 생성 모델로 다시 해석한 다음 거기서 뽑는 것이다.

그래서 이건 규칙의 예외가 아니라 규칙의 확인이다. 무언가를 만들어내려면 결국 뽑을 분포가 있어야 한다. 처음부터 분포를 배운 모델은 그냥 뽑으면 되고, 경계만 배운 모델은 먼저 분포를 되찾는 수고를 해야 한다.

판별형 AI라는 말에 대하여

한 가지 덧붙일 것이 있다. 판별 모델·생성 모델은 오래된 학술 용어지만, '판별형 AI'는 그렇지 않다.

생성형 AI가 널리 알려지면서 그 반대편을 가리킬 말이 필요해졌고, 그래서 뒤늦게 생겨난 표현에 가깝다. 그전까지 분류나 예측을 하는 AI를 따로 부르는 이름은 없었다. 그냥 AI였다.

이 사실을 알아둘 필요가 있는 이유는, 판별형 AI라는 범주가 학술적으로 엄밀하게 정의된 무언가가 아니라 생성형 AI가 아닌 것들을 묶어 부르는 편의상의 말이기 때문이다. 그래서 그 경계가 흐릿한 경우가 생긴다.

왜 생성형이 지금 앞으로 나왔는가

기술적으로 더 어려운 쪽은 생성이다. 분포 전체를 배우는 것이 경계 하나 긋는 것보다 큰 일이다. 그런데 최근 몇 년 사이 앞서 나간 쪽은 생성이었다. 이유는 성능이 아니라 학습 재료에 있다.

판별 모델을 학습시키려면 레이블(label) 이 필요하다. 머신러닝이란 무엇인가에서 다룬 대로, 각 데이터마다 정답이 붙어 있어야 한다. 이 사진은 고양이, 저 메일은 스팸. 그리고 그 정답은 사람이 붙인다. 느리고 비싸고, 전문 분야일수록 더 그렇다. 의료 영상에 판독 결과를 붙이려면 의사가 필요하다.

생성 모델, 특히 언어 모델은 사정이 다르다. 학습 과제가 "다음에 올 단어를 맞혀라"인데, 정답이 이미 데이터 안에 들어 있다. 다음 단어는 원문에 적혀 있으니까. 사람이 따로 붙일 것이 없다.

이 차이가 규모의 차이로 이어졌다. 사람이 정답을 붙인 데이터는 아무리 모아도 한계가 있지만, 레이블 없는 텍스트는 인터넷에 사실상 무한하다.

2018년에 이 논지를 정면으로 편 논문이 있다. 그 초록은 레이블 없는 대규모 말뭉치는 풍부한 반면 특정 과제를 학습하기 위한 레이블 데이터는 희소하며, 그래서 판별적으로 학습된 모델이 충분히 잘 해내기 어렵다고 지적했다. 해법으로 제시한 것은 레이블 없는 다양한 텍스트로 언어 모델을 생성적으로 사전학습한 뒤, 각 과제에 맞춰 판별적으로 미세조정하는 것이었다.

여기서 짚어둘 것이 있다. 이 구조는 생성이 판별을 이긴 것이 아니라 떠받친 것이다. 생성적 사전학습으로 언어에 대한 일반적인 표현을 얻어놓고, 그 위에서 판별 과제를 푼다. 오늘날 널리 쓰이는 방식의 원형이 여기 있다.

한 시스템 안에 둘 다 들어있기도 하다

판별과 생성은 대립하는 두 진영이 아니다. 아예 하나의 시스템 안에 둘 다 들어있는 구조도 있다.

GAN이 그 예다. 2014년 논문이 제안한 구조는 두 모델을 동시에 학습시킨다. 데이터의 분포를 붙잡는 생성 모델 G와, 표본이 진짜 학습 데이터에서 온 것인지 G가 만든 것인지를 추정하는 판별 모델 D다. G는 D가 틀리게 만드는 방향으로 학습한다.

논문은 이 구조를 두 참가자의 미니맥스 게임에 해당한다고 설명했다. G와 D가 임의의 함수일 수 있다고 가정하면 유일한 해가 존재하는데, 그 해에서 G는 학습 데이터의 분포를 복원하고 D는 어디서나 1/2을 출력한다. 진짜와 가짜를 더는 구별할 수 없어서 동전 던지기와 같아진다는 뜻이다.

여기서 판별 모델은 최종 결과물이 아니라 생성 모델을 훈련시키는 도구로 쓰인다. 판별과 생성이 반대말이 아니라는 것을 이보다 잘 보여주는 예는 드물다.

평가가 왜 어려워지는가

판별형과 생성형의 실질적 차이 중 가장 크고 가장 덜 이야기되는 것이 이것이다.

판별형은 채점이 된다. 스팸인지 아닌지에는 정답이 있다. 천 개를 넣어보고 몇 개 맞혔는지 세면 성능이 숫자로 나온다. 어느 모델이 더 나은지 비교하는 것도 어렵지 않다.

생성형은 채점이 안 된다. "이 문단을 한국어로 번역하라"에 정답은 하나가 아니다. 좋은 번역은 여러 개 있고, 어떤 것이 더 나은지는 용도와 독자에 따라 달라진다. 이미지 생성은 더 심하다. "고양이 그림을 그려라"의 정답 집합은 사실상 무한하다.

여기서 몇 가지가 따라 나온다.

• 자동 지표가 불완전하다. 생성 결과의 품질을 숫자로 재려는 지표들이 있지만, 어느 것도 사람의 판단을 대체하지 못한다.

• 사람의 평가에 의존하게 된다. 그런데 사람의 평가는 느리고, 비싸고, 평가자에 따라 갈린다.

• 개선됐는지 확인하기 어렵다. 판별형은 정확도 숫자가 오르면 나아진 것이다. 생성형은 무엇을 재야 나아진 것인지부터 논쟁거리다.

환각

그리고 생성형에만 있는 고유한 실패 방식이 있다. 환각(hallucination) 이다.

이 분야를 정리한 2023년 종합 논문에 따르면, 가장 널리 통용되는 정의는 생성된 내용이 무의미하거나 주어진 원본에 충실하지 않은 것이다. 같은 논문은 이를 두 종류로 나눈다.

• 내재적 환각(intrinsic hallucination) — 생성된 내용이 원본과 모순되는 경우. 원본에 "2019년에 승인됐다"고 되어 있는데 요약이 "거부됐다"고 쓰는 식이다.

• 외재적 환각(extrinsic hallucination) — 원본으로부터 검증할 수 없는 내용이 나오는 경우. 원본이 뒷받침하지도, 반박하지도 않아서 참인지 거짓인지 판정할 근거가 없다.

용어는 심리학에서 왔다. 환각이란 실재하지 않는데 실재처럼 느껴지는 지각이고, 생성된 텍스트도 같은 성질을 갖는다는 것이다. 그리고 핵심은 여기다. 환각 텍스트는 충실하지 않고 무의미한데도 유창하고 자연스러운 인상을 준다. 주어진 맥락에 근거를 둔 것처럼 보이지만 실제로는 그 근거의 존재를 확인하기 어렵다.

용어 주의 — 위 정의는 요약·번역처럼 참조할 원본이 있는 작업을 기준으로 만들어졌다. 그런데 챗봇에 일반적인 질문을 던지는 상황에는 참조할 원본이 없다. 이 경우 사람들이 '환각'이라고 부르는 것은 대체로 사실 오류 전반이다. 같은 단어가 좁은 정의와 넓은 용법으로 함께 쓰이고 있으므로, 자료를 읽을 때 어느 쪽인지 확인할 필요가 있다.

왜 생기는가. 지금까지 설명한 구조에서 그대로 따라 나온다. 생성 모델은 그럴듯한 것을 뽑도록 학습됐지 맞는 것을 찾도록 학습되지 않았다. 사실 여부를 판정하는 장치가 모델 안에 없다. 그럴듯함이 학습의 목표였으므로, 틀린 답도 맞는 답과 똑같이 그럴듯한 형태로 나온다.

판별형에는 이 개념이 아예 없다. 판별형이 틀리면 그것은 오답이지 환각이 아니다. 스팸을 정상으로 분류하면 명백히 틀린 것이고, 세어보면 드러난다. 생성형이 틀리면 매끄러운 문장의 형태로 나오고, 읽는 사람이 그 분야를 모르면 틀렸다는 사실 자체를 모른다.

그래서 이런 결과가 된다.

생성형 AI의 출력은 맞는 답과 틀린 답이 겉보기에 똑같이 생겼다. 검증의 부담이 만드는 쪽에서 읽는 쪽으로 넘어간다.

비용과 속도

실무에서 둘 중 무엇을 쓸지 정할 때 실제로 가장 크게 작용하는 요인인데, 개념 설명에서는 잘 다뤄지지 않는다.

판별형은 한 번의 계산으로 끝난다. 입력을 넣으면 신경망을 통과해서 범주 하나 또는 숫자 하나가 나온다.

이 한 번의 통과를 순전파라 하며, 딥러닝이란 무엇인가에서 자세히 다룬다. 그래서 빠르고 싸다. 휴대폰이나 공장 설비 같은 작은 기기 안에서 돌릴 수 있는 이유이기도 하다.

생성형은 반복해야 한다. 자기회귀 모델은 토큰을 하나 뽑고, 그것을 입력에 붙여 다시 계산하고, 또 하나를 뽑는다. 긴 답을 만들려면 그 횟수만큼 계산이 반복된다. 확산 모델도 잡음을 여러 단계에 걸쳐 걷어내므로 마찬가지다.

이건 최적화로 없앨 수 있는 비효율이 아니라 생성이라는 방식 자체에서 나오는 구조적 성질이다. 그래서 판별형과 생성형 사이에는 응답 시간과 연산 비용에서 큰 격차가 있다.

실무적 결론은 단순하다. 판별형으로 풀 수 있는 문제를 생성형으로 푸는 것은 대체로 손해다. 감정 분류처럼 범주가 정해진 일에 대규모 언어 모델을 쓰면 되기는 하지만, 전용 분류 모델보다 훨씬 느리고 비싸다. 다만 학습 데이터를 따로 모으지 않아도 된다는 이점이 있어서, 초기 단계나 데이터가 없는 상황에서는 합리적인 선택이 되기도 한다.

어느 쪽이 더 나은가

"생성 모델은 더 어려운 문제를 풀고 있으니 성능도 더 좋을 것"이라는 짐작이 있는데, 그렇지 않다. 그리고 "판별 모델이 거의 항상 낫다"는 반대 방향의 통념도 널리 퍼져 있었는데, 이쪽도 그대로 맞지는 않다.

2001년에 이 문제를 정면으로 다룬 연구가 있다. 로지스틱 회귀(판별)와 나이브 베이즈(생성)를 짝으로 놓고 비교한 결과, 학습 데이터의 양에 따라 서로 다른 두 개의 구간이 나타났고, 각 구간에서 이기는 쪽이 달랐다.

이유는 이렇다. 판별 학습 쪽이 최종적으로 도달하는 오차는 더 낮다. 그런데 생성 쪽은 자기가 도달할 (더 높은) 오차 수준에 훨씬 빨리 접근한다. 그래서 데이터가 적을 때는 생성 쪽이 앞서고, 데이터가 쌓이면 판별 쪽이 앞선다.

여기서 얻을 것은 두 가지다. 하나는 어느 쪽이 우월하다는 답이 없다는 것. 다른 하나는 모델 선택이 데이터의 양이라는 상황에 달려 있다는 것이다.

언제 무엇을 쓰는가

판별형이 맞는 경우

• 답이 정해진 범주나 숫자 안에 있다. 스팸인가 아닌가, 값이 얼마인가, 어디에 무엇이 있는가.

• 정확도를 숫자로 관리해야 한다.

• 왜 그렇게 판단했는지 설명해야 한다.

• 빠르거나 싸야 한다. 실시간 처리, 대량 처리, 기기 내부 처리.

• 틀리면 곤란하다. 판별형이 틀린 것은 최소한 눈에 띈다.

생성형이 맞는 경우

• 정답이 하나가 아니다. 초안 쓰기, 요약, 번역, 아이디어 내기.

• 결과를 사람이 받아서 다듬을 것이다.

• 만들어야 할 경우의 수가 미리 정해질 수 없다.

• 학습 데이터를 따로 모을 여건이 안 된다.

생성형을 쓰면 안 되는 경우

• 사실을 조회하는 일. 생성 모델은 그럴듯한 것을 만들도록 학습됐지 맞는 것을 찾도록 학습되지 않았다.

• 검증할 사람이 없는 자리. 맞는 답과 틀린 답이 똑같이 생겼기 때문이다.

• 같은 입력에 항상 같은 결과가 나와야 하는 자리. 설정으로 고정할 수는 있지만, 그럴 거라면 애초에 판별형이 맞는 경우가 많다.

흔한 오해

"생성 모델과 생성형 AI는 같은 말이다." 다르다. 생성 모델은 데이터의 분포를 모델링하는 모델이고, 그 능력으로 분류만 하는 경우가 흔하다. 나이브 베이즈가 대표적이다. 만든다는 것은 생성 모델의 정의가 아니라 그것으로 할 수 있는 일 중 하나다. 생성형 AI는 반드시 생성 모델 위에 서지만, 생성 모델이 전부 생성형 AI는 아니다.

"판별형 AI는 구식이고 생성형 AI가 최신이다." 지금도 현장에서 돌아가는 AI의 대부분은 분류·예측·인식을 한다. 불량품 검출, 의료 영상 판독, 이상 거래 탐지, 추천, 음성 인식이 전부 그렇다. 생성형이 눈에 잘 띄는 것이지 판별형을 대체한 것이 아니다.

"생성형 AI가 더 어려운 문제를 푸니 더 우수하다." 어느 쪽이 우월하다는 답은 없다. 2001년 연구는 학습 데이터의 양에 따라 이기는 쪽이 뒤바뀌는 두 구간이 있음을 보였다. 데이터가 적으면 생성 쪽이, 쌓이면 판별 쪽이 유리해지는 경향이 있다.

"생성형이 앞선 것은 성능이 더 좋아서다." 직접적인 계기는 학습 재료였다. 판별 학습에는 사람이 붙인 레이블이 필요한데 그것은 희소하고, 생성 학습은 레이블 없는 원본만으로 가능해서 인터넷 규모의 데이터를 쓸 수 있었다.

"생성형 AI는 답이 매번 다르니 믿을 수 없다." 매번 다른 것은 모델의 계산이 흔들려서가 아니라, 계산 결과인 확률 분포에서 무작위로 뽑기 때문이다. 온도 설정을 바꾸면 같은 답이 나오게 만들 수 있다. 신뢰성의 문제는 답이 여러 개라는 데 있는 게 아니라, 그중 어느 것이 맞는지 모델이 구별하지 못한다는 데 있다.

"프롬프트는 AI에게 내리는 명령이다." 명령이라기보다 조건이다. 분포의 어느 영역에서 뽑을지를 지목하는 것에 가깝다. 그래서 조건을 촘촘히 걸면 원하는 것이 나올 확률이 높아지지만, 반드시 나온다는 보장이 생기지는 않는다.

"환각은 고쳐야 할 버그다." 버그는 잘못 만들어서 생긴 결함이고, 고치면 없어진다. 환각은 그럴듯한 것을 뽑도록 설계된 방식에서 따라 나오는 성질이다. 줄이는 방법이 여러 가지 연구되고 있지만, 사실 판정 장치가 모델 안에 없다는 점은 그대로다.

"생성형 AI는 없던 것을 창작한다." 학습한 데이터의 분포에서 표본을 뽑는다. 학습 데이터에 그대로 있던 것을 복사하는 것은 아니지만, 그 분포 바깥으로 나가지도 않는다. 새로움의 성격이 사람의 창작과 같다고 볼 근거는 없다.

"판별과 생성은 대립하는 두 진영이다." 같은 시스템 안에 함께 들어가는 경우가 많다. GAN은 생성 모델을 훈련시키기 위해 판별 모델을 도구로 쓴다. 생성적 사전학습 뒤 판별적 미세조정을 하는 방식도 널리 쓰인다. 대규모 언어 모델을 분류에 쓰는 것도 흔하다.

"판별형 AI는 확립된 학술 용어다." 생성형 AI가 알려진 뒤 그 반대편을 부르기 위해 생긴 말에 가깝다. 판별 모델·생성 모델이라는 기술적 구분과 달리, 판별형 AI는 경계가 흐릿한 편의상의 범주다.

확인한 자료

• Ng, A. Y. & Jordan, M. I., On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes, Advances in Neural Information Processing Systems 14, 2001 — 판별 학습과 생성 학습을 로지스틱 회귀와 나이브 베이즈로 대표시켜 비교하고, 판별 분류기가 거의 항상 선호된다는 통념과 달리 학습 데이터 크기에 따라 각각이 우세한 두 개의 구간이 나타난다는 결과. 판별 학습은 점근 오차가 더 낮지만 생성 분류기는 자신의 (더 높은) 점근 오차에 훨씬 빨리 접근한다는 서술도 여기서 확인.

• Goodfellow, I. et al., Generative Adversarial Networks, arXiv:1406.2661, 2014 — 데이터 분포를 붙잡는 생성 모델 G와 표본이 학습 데이터에서 왔는지를 추정하는 판별 모델 D를 동시에 학습시키는 구조, 미니맥스 두 참가자 게임에 해당한다는 설명, 유일한 해에서 G가 학습 데이터 분포를 복원하고 D가 어디서나 1/2을 출력한다는 결과.

• Radford, A., Narasimhan, K., Salimans, T. & Sutskever, I., Improving Language Understanding by Generative Pre-Training, OpenAI, 2018 — 레이블 없는 대규모 말뭉치는 풍부한 반면 특정 과제용 레이블 데이터는 희소하여 판별적으로 학습된 모델이 충분히 해내기 어렵다는 지적, 그리고 레이블 없는 텍스트로 생성적 사전학습을 한 뒤 과제별로 판별적 미세조정을 하는 접근.

• Ho, J., Jain, A. & Abbeel, P., Denoising Diffusion Probabilistic Models, arXiv:2006.11239, 2020 — 확산 확률 모델을 이용한 고품질 이미지 합성 결과. 이 모델을 비평형 열역학에서 착안한 잠재변수 모델의 한 종류로 소개하고, 점진적 복원 과정으로 해석할 수 있다고 서술한 대목.

• Ji, Z. et al., Survey of Hallucination in Natural Language Generation, ACM Computing Surveys 55(12), 2023 — 환각을 "생성된 내용이 무의미하거나 주어진 원본에 충실하지 않은 것"으로 정의하는 표준적 서술, 내재적 환각과 외재적 환각의 구분, 환각 텍스트가 충실하지 않고 무의미함에도 유창하고 자연스러운 인상을 준다는 지적, 그리고 이 용어가 심리학에서 왔다는 설명.