데이터·알고리즘·모델은 무엇인가

데이터·알고리즘·모델은 무엇인가

세 단어는 서로 바꿔 쓸 수 있는 말이 아니다. 각각 다른 것을 가리킨다.

• 데이터는 기계가 다루는 재료다. 모델을 만들 때도 쓰이고, 만들어진 모델에 넣을 때도 쓰인다.

• 알고리즘은 해석의 여지 없이 정해진 절차다.

• 모델은 데이터에 절차를 적용해 만들어낸 결과물이다.

한 문장으로 줄이면 이렇다.

데이터에 알고리즘을 적용해서 만들어낸 것이 모델이다.

여기서 미리 밝혀둘 것이 하나 있다. 이 문장에서 말하는 알고리즘은 모델을 만드는 절차, 즉 학습 알고리즘이다. 그런데 알고리즘이라는 말은 그보다 넓고, AI 안에서도 다른 자리를 하나 더 갖는다. 아래 알고리즘 항목에서 따로 다룬다.

현실에서 이 셋은 계속 섞인다. 뉴스는 "유튜브 알고리즘이 이 영상을 추천했다"고 쓰고, 회사는 "우리 AI 모델"과 "우리 알고리즘"을 같은 뜻으로 쓴다. 섞여도 대화는 되지만, 섞인 채로는 무엇이 잘못됐을 때 어디를 봐야 하는지 알 수 없다.

데이터가 문제인지, 절차가 문제인지, 만들어진 물건이 문제인지가 전부 다른 이야기이기 때문이다.

데이터 — 재료

데이터는 기계가 다루는 재료다. 사진, 문장, 숫자, 소리, 클릭 기록 — 형태는 무엇이든 될 수 있다.

쓰이는 자리는 두 곳이다. 모델을 만들 때 쓰는 학습 데이터가 있고, 완성된 모델에 넣어 답을 얻는 입력 데이터가 있다. 둘 다 데이터지만 역할이 다르다.

용어 주의 — 한국어에서 '데이터'는 일상적으로 통신 데이터 사용량을 뜻하는 경우가 훨씬 흔하다. "데이터 다 썼다"의 그 데이터다. 이 글에서 말하는 데이터는 그것과 아무 관계가 없고, 학문 용어로는 '자료'에 해당한다. 영어 data가 두 뜻을 다 갖고 있어서 한국어에도 그대로 넘어왔다.

여기서 먼저 짚어야 할 것이 하나 있다.

데이터는 세상이 아니라, 세상에 대한 기록이다.

당연해 보이지만 실무에서 가장 자주 잊히는 사실이다. 어떤 데이터든 누군가가 무엇을 잴지 정하고, 어떻게 잴지 정하고, 무엇을 안 잴지 정한 결과다. 병원 기록에는 병원에 온 사람만 있고, 앱 로그에는 앱을 쓴 사람만 있다. 기록되지 않은 것은 모델에게 존재하지 않는다.

그래서 "데이터는 객관적이다"라는 말은 절반만 맞다. 기록된 숫자 자체는 조작되지 않았을 수 있지만, 무엇을 기록하기로 했는가는 사람의 선택이다.

데이터 주변의 용어

• 원본 데이터(raw data) — 가공하지 않은 상태. 사진 파일 그 자체, 서버 로그 그 자체.

• 특징(feature) — 모델이 실제로 보는 숫자들. 원본을 모델이 다룰 수 있는 형태로 바꾼 것이다. 머신러닝이란 무엇인가에서 자세히 다룬다.

• 레이블(label) — 각 데이터에 붙은 정답. 이 사진은 고양이, 이 메일은 스팸. 대개 사람이 붙인다.

• 데이터셋(dataset) — 학습에 쓰려고 모아 정리한 데이터 묶음.

데이터셋은 대개 셋으로 나뉜다

모아둔 데이터를 전부 학습에 쓰지는 않는다. 보통 세 몫으로 갈라놓는다.

• 학습 데이터(training set) — 실제로 모델을 만드는 데 쓰는 몫.

• 검증 데이터(validation set) — 학습 도중에 성능을 재보고 설정을 조정하는 데 쓰는 몫.

• 테스트 데이터(test set) — 마지막에 딱 한 번, 최종 성능을 재는 데만 쓰는 몫.

나누는 이유는 하나다. 학습에 쓴 데이터로 성능을 재면 그건 실력이 아니라 암기를 재는 것이기 때문이다. 처음 보는 데이터에서 얼마나 하는지가 유일하게 의미 있는 기준이다.

알고리즘 — 절차

여기가 세 단어 중 가장 오해가 많은 자리다. 먼저 확실히 해둘 것이 있다.

알고리즘은 AI 용어가 아니다.

컴퓨터보다 훨씬 오래된 말이다. 이 개념의 표준적인 정의를 쓴 도널드 커누스에 따르면, 이 단어는 9세기 무렵 페르시아의 교과서 저자 알-콰리즈미의 이름에서 왔다. 원래 형태는 '알고리즘(algorithm)'이 아니라 '알고리슴(algorism)'이었고, 아라비아 숫자로 셈하는 방법을 뜻했다. 그 말이 세월이 지나며 변형되었는데, 커누스는 사람들이 원래 어원을 잊은 채 그리스어 어근인 '산술(arithmetic)'과 혼동한 결과라고 설명한다.

그리고 1950년 무렵 이 단어와 가장 흔히 연결되던 것은 유클리드 호제법이었다. 두 수의 최대공약수를 구하는 절차다. 나눗셈, 0인지 확인하기, 값 대입 세 가지 연산만으로 이루어져 있고, AI와 아무 관계가 없으며, 그것도 엄연한 알고리즘이다.

알고리즘의 다섯 가지 성질

커누스는 알고리즘이 갖춰야 할 다섯 가지 특징을 제시했다. 오늘날 표준으로 받아들여지는 정의다.

유한성(finiteness) — 유한한 단계 뒤에 반드시 끝나야 한다. 명확성(definiteness) — 각 단계가 정확히 정의되어야 하며, 무엇을 할지가 모든 경우에 엄밀하고 모호함 없이 지정되어야 한다. 입력(input) — 시작 전이나 진행 중에 주어지는 값이 0개 이상 있다. 출력(output) — 입력과 정해진 관계를 갖는 결과가 1개 이상 나온다. 유효성(effectiveness) — 각 연산이 충분히 기본적이어서, 원리적으로 사람이 종이와 연필로 정확히, 유한한 시간 안에 수행할 수 있어야 한다.

요리 레시피는 알고리즘이 아니다

한국어 입문 자료에서 알고리즘을 설명할 때 거의 반드시 나오는 비유가 요리 레시피다. 그런데 커누스는 바로 그 비유를 반례로 들었다.

레시피에는 유한성이 있고(언젠가 끝난다), 입력이 있고(달걀, 밀가루), 출력이 있다(음식). 그런데 명확성이 없다. 커누스가 든 예가 정확하다. "소금 한 꼬집을 넣는다"에서 한 꼬집이 얼마인지, 어디에 넣는지가 정해져 있지 않다. "고슬고슬해질 때까지 가볍게 섞는다" 같은 지시는 훈련된 요리사에게는 충분한 설명이지만, 알고리즘은 컴퓨터도 따라올 수 있을 만큼 지정되어야 한다.

이 구분이 실질적으로 중요한 이유가 있다. 알고리즘의 요점은 "순서대로 하는 것"이 아니라 해석의 여지가 없다는 데 있다. 순서만 있으면 알고리즘이라고 생각하면, 왜 컴퓨터가 사람의 지시를 그대로 못 알아듣는지를 영영 이해할 수 없다.

알고리즘, 계산 방법, 프로그램

가까이 붙어 있는 세 단어를 갈라두면 편하다.

계산 방법(computational method) 은 정해진 규칙에 따라 상태를 바꿔가는 절차 전반을 가리킨다. 그중에서 모든 입력에 대해 유한한 단계 안에 반드시 끝나는 것이 알고리즘이다. 즉 알고리즘은 계산 방법의 한 종류이고, 끝나지 않는 절차는 계산 방법일 수는 있어도 알고리즘은 아니다.

프로그램(program) 은 커누스의 정의로 계산 방법을 컴퓨터 언어로 표현한 것이다. 알고리즘이 아이디어라면 프로그램은 그것을 특정 언어로 적어놓은 문서다. 같은 알고리즘을 파이썬으로도, 자바로도, 손으로도 쓸 수 있다.

AI에서 알고리즘은 두 군데에 있다

여기가 헷갈림의 진짜 근원이다. AI를 이야기할 때 '알고리즘'이라는 말은 서로 다른 두 자리를 가리킬 수 있다.

하나, 모델을 만드는 절차. 경사하강법, 역전파, 결정 트리를 키우는 절차 같은 것들이다. 이것이 학습 알고리즘이고, 데이터를 받아서 모델을 뱉어낸다. 학습이 끝나면 이 절차의 역할도 끝난다.

둘, 모델이 답을 낼 때 도는 계산. 입력을 받아 층을 통과시키고 출력을 내놓는 순서 역시 정해진 절차다. 이 단계를 추론(inference) 이라 하며, 모델이 배포되어 쓰이는 내내 반복된다.

둘 다 알고리즘이라고 불리지만 하는 일이 완전히 다르다. 앞의 것은 모델을 만들고, 뒤의 것은 모델을 쓴다. 자료를 읽다가 '알고리즘'이 나오면 어느 쪽인지 확인하는 습관을 들이는 편이 좋다.

모델 — 결과물

모델은 학습이 끝난 뒤 남는 물건이다.

용어 주의 — 한국어에서 '모델'만큼 여러 뜻을 가진 말도 드물다. 사람을 가리키는 패션 모델, 제품의 종류를 가리키는 자동차 모델, 형상을 가리키는 3D 모델, 사업 방식을 가리키는 비즈니스 모델이 전부 같은 단어다. 이 글에서 말하는 모델은 통계학과 과학에서 쓰던 "현상을 설명하거나 예측하기 위해 만든 것" 이라는 뜻의 연장선이다.

모델은 두 가지로 이루어져 있다.

아키텍처(architecture) — 층이 몇 개고 어떻게 연결되어 있는지를 정한 설계. 모델 구조라고도 한다. 학습 전에 사람이 정한다. "트랜스포머 아키텍처"처럼 쓰인다.

파라미터(parameter) — 그 설계를 채우는 숫자들. 학습으로 정해진다. 가중치와 편향이 여기 해당한다. 딥러닝이란 무엇인가에서 자세히 다룬다.

파일로 저장하고, 복사하고, 남에게 보내고, 서버에 올려서 돌릴 수 있다.

사람이 정하는 것과 학습이 정하는 것

알고리즘과 모델의 진짜 차이는 누가 만드느냐에 있다.

알고리즘은 사람이 적는다. 경사하강법을 쓸지 결정 트리를 쓸지, 층을 몇 개 둘지, 학습률을 얼마로 할지는 전부 사람의 결정이다. 학습 전에 사람이 정하는 이런 값들을 하이퍼파라미터(hyperparameter) 라 부른다.

모델의 파라미터는 학습이 정한다. 사람은 그 숫자들을 직접 지정하지 않고, 지정할 수도 없다. 수억 개가 넘는 경우가 흔하기 때문이다.

그래서 이렇게 정리된다. 사람은 재료를 고르고 절차를 짜고 조건을 걸지만, 결과물의 내용은 학습이 채운다.

모델의 크기는 파라미터 수로 말한다

"7B 모델", "70B 모델" 같은 표현을 자주 보게 된다. 여기서 B는 billion, 즉 10억이다. 7B는 파라미터가 약 70억 개라는 뜻이다.

파라미터가 많을수록 담을 수 있는 것이 많아지지만, 그만큼 학습에 더 많은 데이터와 연산이 들고 실행에도 더 큰 하드웨어가 필요하다. 크다는 것이 곧 좋다는 뜻은 아니다. 무엇에 쓸 것인지에 따라 작은 모델이 더 나은 선택인 경우가 많다.

모델은 함수다

수학적으로 보면 모델은 입력을 받아 출력을 내놓는 함수다. 사진을 넣으면 확률이 나오고, 문장을 넣으면 다음 단어의 확률 목록이 나온다.

다만 이 함수는 사람이 수식으로 적은 것이 아니라 데이터로부터 맞춰진 것이다. 그게 고전적인 프로그래밍과 갈리는 지점이고, 인공지능이란 무엇인가에서 다룬 그 구분이기도 하다.

모델과 제품은 다르다

한 가지 경계를 그어둘 필요가 있다. 우리가 쓰는 것은 대개 모델이 아니라 모델을 품고 있는 제품이다.

챗봇 서비스를 예로 들면, 그 안에는 모델뿐 아니라 대화 기록을 관리하는 부분, 검색을 붙이는 부분, 위험한 요청을 걸러내는 부분, 화면에 보여주는 부분이 함께 들어 있다. 같은 모델이라도 어떤 시스템에 담기느냐에 따라 사용자가 겪는 것은 완전히 달라진다.

그래서 "이 AI가 이상하다"고 할 때, 원인이 모델에 있는지 그것을 감싼 시스템에 있는지는 별개의 문제다. 이 구분은 모델과 시스템은 무엇이 다른가에서 따로 다룬다.

모델은 세상이 아니라 세상의 근사다

'모델'이라는 말은 원래 통계학과 과학에서 오래 쓰였고, 그쪽에서 이미 다뤄진 성질이 하나 있다. 이 성질은 AI 모델에도 그대로 적용된다.

통계학자 조지 박스는 1976년 논문에서 이렇게 썼다. 모든 모델이 틀렸으므로, 과학자는 지나치게 정교하게 만든다고 해서 '올바른' 모델을 얻을 수 없다. 그는 같은 글에서, 물리학이나 통계학에 수학을 적용할 때 우리는 거짓인 줄 알면서도 유용하리라 믿는 잠정적 가정을 세운다고 설명한다. 자연에 정규분포 같은 것은 애초에 없었고 직선도 없었지만, 거짓인 줄 아는 그 가정들로부터 현실과 쓸 만하게 맞아떨어지는 결과를 얻을 수 있다는 것이다.

그리고 이런 경고도 덧붙였다. 과학자는 피그말리온처럼 자기 모델과 사랑에 빠져서는 안 된다.

이 말들이 AI 모델에 그대로 적용된다. 모델은 데이터에 맞춰진 근사이지 세상 자체가 아니다. 아무리 크게 만들어도 그 성질은 바뀌지 않는다.

셋의 관계

모델이 만들어지는 과정을 기준으로 정리하면 이렇다.

여기서 두 가지가 따라 나온다.

같은 데이터에 다른 알고리즘을 쓰면 다른 모델이 나온다. 같은 스팸 메일 묶음으로 결정 트리를 만들 수도 있고 신경망을 만들 수도 있다.

같은 알고리즘에 다른 데이터를 쓰면 다른 모델이 나온다. 이쪽이 실무적으로 훨씬 중요하다. 데이터가 치우쳐 있으면 알고리즘이 아무리 공정해도 모델은 치우친다. 알고리즘은 데이터를 의심하지 않는다. 주어진 것에서 규칙을 찾을 뿐이다.

"알고리즘이 추천했다"는 말에 대하여

한국어에서 이 세 단어가 가장 크게 어긋나는 자리가 있다. 알고리즘이다.

"알고리즘 탔다", "유튜브 알고리즘이 이걸 띄웠다", "알고리즘이 나를 안다" — 여기서 말하는 알고리즘은 대개 추천 시스템 전체를 가리킨다. 그런데 실제로 무엇을 보여줄지 판단하는 것은 학습된 모델이고, 그 모델을 만든 학습 알고리즘은 배포 전에 이미 역할이 끝났다.

정확하게 말하면 이렇다.

"알고리즘이 추천했다"가 아니라 "모델이 예측했고 시스템이 그 예측을 따라 배치했다" 에 가깝다.

말이 어긋난 것뿐이라면 그냥 넘어가도 된다. 문제는 이 어긋남이 책임의 위치를 흐린다는 데 있다.

'알고리즘'이라고 부르면 수학 공식처럼 들리고, 그래서 중립적이고 불가피한 것처럼 느껴진다. 그런데 실제로 무엇이 추천되는지를 좌우하는 것은 어떤 데이터를 모았고, 무엇을 잘하는 것으로 칠지 정했고, 어떤 모델을 배포하기로 했는가라는 사람의 결정들이다. "알고리즘 탓"이라고 말하는 순간 그 결정들이 문장에서 사라진다.

용어를 정확히 쓰자는 것은 까다롭게 굴자는 뜻이 아니다. 틀린 단어를 쓰면 물어볼 질문이 사라진다.

무엇이 잘못됐을 때 어디를 보는가

셋을 갈라놓으면 실제로 쓸모가 생긴다. AI 시스템이 이상하게 굴 때 원인은 대체로 네 자리 중 하나다.

데이터 쪽 — 특정 집단의 기록이 거의 없거나, 과거의 치우침이 그대로 들어 있거나, 레이블이 잘못 붙어 있다. 이 경우 모델을 바꿔도 해결되지 않는다.

절차와 설정 쪽 — 무엇을 잘하는 것으로 칠지 잘못 정했거나(손실 함수), 학습이 제대로 수렴하지 않았거나, 하이퍼파라미터가 부적절하다.

모델 쪽 — 학습 자체는 잘 됐는데 세상이 바뀌어서 낡았거나, 학습 데이터에는 없던 상황을 만났다.

시스템 쪽 — 모델은 멀쩡한데 그것을 감싼 부분이 문제다. 잘못된 정보를 붙여 넣었거나, 필터가 과하거나, 화면에 잘못 표시한다.

넷을 뭉뚱그려 "AI가 이상하다"고 하면 어디부터 봐야 할지 알 수 없다. 정확한 단어를 쓰는 것이 곧 문제를 좁히는 일이다.

흔한 오해

"알고리즘은 AI 용어다." 컴퓨터보다 오래된 말이다. 어원은 9세기 무렵 인물의 이름에서 왔고, 1950년 무렵 이 단어와 가장 흔히 연결되던 것은 최대공약수를 구하는 유클리드 호제법이었다. 정렬, 검색, 경로 찾기 모두 알고리즘이며 AI와 무관하다.

"알고리즘은 요리 레시피 같은 것이다." 표준 정의를 정리한 커누스가 이 비유를 반례로 들었다. 레시피는 유한성·입력·출력은 갖췄지만 명확성이 없다. "소금 한 꼬집"은 얼마인지, 어디에 넣는지가 정해져 있지 않다. 알고리즘은 해석의 여지가 없어야 한다는 것이 요점이고, 레시피는 바로 그 조건에서 탈락한다.

"알고리즘과 모델은 같은 말이다." 알고리즘은 사람이 적는 절차이고, 모델은 그 절차가 데이터에 남긴 결과물이다. 알고리즘은 파일로 저장해 배포하는 것이 아니고, 모델은 실행 순서가 아니다. 회사들이 둘을 섞어 쓰는 것은 마케팅 관행이지 정확한 용법이 아니다.

"알고리즘과 프로그램은 같은 말이다." 알고리즘은 아이디어이고, 그것을 컴퓨터 언어로 표현한 것이 프로그램이다. 같은 알고리즘을 여러 언어로 쓸 수 있다.

"알고리즘이 나를 추천했다." 추천을 만들어내는 것은 학습된 모델이고, 그 모델을 만든 학습 알고리즘은 배포 전에 역할이 끝났다. 이 표현은 널리 쓰이지만, 어떤 데이터를 모으고 무엇을 목표로 삼을지 정한 사람의 결정을 문장에서 지워버린다.

"데이터는 객관적이다." 기록된 숫자가 조작되지 않았을 수는 있다. 그러나 무엇을 잴지, 누구를 포함할지, 무엇을 정답으로 표시할지는 전부 사람의 선택이다. 기록되지 않은 것은 모델에게 존재하지 않는다.

"알고리즘이 공정하면 결과도 공정하다." 알고리즘은 주어진 데이터에서 규칙을 찾을 뿐 데이터를 의심하지 않는다. 데이터가 치우쳐 있으면 공정한 절차를 거쳐도 치우친 모델이 나온다.

"모델은 클수록 좋다." 파라미터가 많으면 담을 수 있는 것이 많아지지만, 학습과 실행에 드는 비용도 함께 커진다. 그리고 크기와 무관하게 모델은 근사다. 박스가 1976년에 지적한 대로, 모든 모델이 틀렸으므로 지나치게 정교하게 만든다고 해서 '올바른' 모델이 나오지는 않는다. 무엇에 쓸 것인지에 따라 작은 모델이 더 나은 선택인 경우가 많다.

확인한 자료

• Knuth, D. E., The Art of Computer Programming, Volume 1: Fundamental Algorithms, 3rd ed., Addison-Wesley — 1.1장 전문. 알고리즘의 다섯 가지 성질(유한성·명확성·입력·출력·유효성)과 각각의 정의, '알고리슴'에서 '알고리즘'으로 변형된 어원과 알-콰리즈미(c. 825), 1950년 무렵 이 단어가 유클리드 호제법과 가장 흔히 연결되었다는 서술과 그 절차의 연산 구성, 요리 레시피가 명확성을 결여하여 알고리즘이 아니라는 논의, 계산 방법을 컴퓨터 언어로 표현한 것이 프로그램이라는 정의, 그리고 알고리즘은 모든 입력에 대해 유한한 단계 안에 끝나는 계산 방법이라는 규정.

• Box, G. E. P., Science and Statistics, Journal of the American Statistical Association 71(356), 791–799, 1976 — 2.3절과 2.4절의 "모든 모델이 틀렸으므로"라는 전제, 2.5절에서 물리학과 통계학에 수학을 적용할 때 거짓인 줄 알면서도 유용하리라 믿는 잠정적 가정을 세운다는 설명과 정규분포·직선의 예, 그리고 과학자가 피그말리온처럼 자기 모델과 사랑에 빠져서는 안 된다는 경고.