AI는 어떻게 발전해왔는가

AI는 어떻게 발전해왔는가

AI의 역사는 사람이 기계에게 넘긴 것의 목록이 길어져온 역사다.

처음에는 사람이 규칙을 직접 적어넣었다. 그다음에는 규칙을 만드는 일을 넘겼다. 그다음에는 무엇을 보고 판단할지 정하는 일을 넘겼다. 최근에는 과제마다 모델을 따로 만드는 일까지 넘겼다.

이 표에는 두 가지가 함께 들어 있다. 발전의 방향과 실망의 이유다. 넘길 때마다 능력이 늘었지만, 넘기는 데 걸린 시간은 매번 약속보다 훨씬 길었다.

아래에서 그 과정을 차례로 본다.

1955년 — 무엇을 약속했는가

이 분야에는 시작을 표시하는 문서가 있다. 1955년 8월 31일자 다트머스 여름 연구 프로젝트 제안서로, 인공지능이라는 말이 처음 쓰인 문서로 알려져 있다. 존 매카시, 마빈 민스키, 너새니얼 로체스터, 클로드 섀넌이 함께 썼다.

제안서는 1956년 여름 다트머스 대학에서 두 달간 열 명이 인공지능을 연구하자고 제안하면서, 그 연구가 딛고 설 가정을 밝힌다.

학습의 모든 측면이나 지능의 다른 어떤 특징도, 원리적으로는 기계가 흉내 낼 수 있을 만큼 정밀하게 기술될 수 있다.

여기서 두 가지를 짚어둘 만하다.

하나, 규모다. 열 명이 두 달간 모이면 여러 문제에서 유의미한 진전을 이룰 수 있다고 보았다. 이 낙관이 이후 반복될 패턴의 첫 사례다.

둘, 표적이 움직인다는 것이다. 제안서는 기계가 지금은 인간에게만 유보된 종류의 문제를 풀게 만들겠다고 적었다. 목표가 고정된 지점이 아니라 그때그때 기계가 아직 못 하는 것으로 정의되어 있다. 기계가 하나를 해내면 그것은 목록에서 빠지고, 남은 것이 새 목표가 된다.

1973년 — 첫 번째 큰 흔들림

그 사이 18년 동안 이 분야가 택한 주된 접근은 사람이 규칙을 적어넣는 것이었다. 세상에 대한 지식을 기호와 규칙으로 표현하고, 그것을 조합해 답을 찾게 했다.

이 방식에는 한계가 분명했다. 규칙을 적을 수 있는 만큼만 할 수 있고, 사람이 말로 설명하지 못하는 것은 적을 수 없다. 고양이 사진을 알아보는 규칙을 적어보라고 하면 아무도 못 적는다. 게다가 규칙이 늘어날수록 따져야 할 경우의 수가 감당할 수 없이 불어났다. 이 문제를 조합 폭발이라 한다.

그리고 1973년, 이 접근이 이룬 성과를 평가하는 자리가 마련된다. 영국 과학연구위원회가 유체역학자 제임스 라이트힐에게 AI 연구 전반의 평가를 의뢰한 것이다. 연구 지원 여부를 결정하는 데 참고하기 위해서였다.

매카시가 남긴 반박문에 따르면, 라이트힐은 AI 연구를 세 범주로 나눴다. A는 고도 자동화 또는 응용, C는 중추신경계 연구, 그리고 B는 로봇 만들기이자 A와 C 사이의 다리였다. 그리고 라이트힐은 B가 다른 두 범주에 기여하는 한에서만 가치가 있다는 것이 자명하다고 못박았다.

매카시의 반박은 성과 목록으로 시작하지 않는다. 범주 자체를 문제 삼는다.

이 분류를 진지하게 받아들인다면 대부분의 AI 연구자는 즉시 라이트힐과 지적 접점을 잃는다. 그의 세 범주에는 우리의 주된 과학 활동이 들어갈 자리가 없기 때문이다.

그가 말한 주된 활동은 정보의 구조와 문제 해결 과정의 구조를, 응용과 무관하게 그리고 그것이 동물에게 구현되는지 인간에게 구현되는지와도 무관하게 연구하는 것이었다.

성과가 있었느냐를 두고 다툰 것이 아니라, 무엇을 성과로 셀 것인가를 두고 다퉜다.

매카시가 자기 분야를 비판한 대목

반박은 라이트힐을 논박하는 데서 끝나지 않는다. 매카시는 절 하나를 따로 두고 우리가 이런 대접을 받을 만했는가를 묻고, 자기 분야의 결함을 열거한다.

"엄마 봐, 손 안 대고" 병. 누군가 컴퓨터로 전에 없던 일을 시켜놓고 컴퓨터가 그것을 했다는 논문을 쓴다. 그런 논문은 지적 메커니즘의 규명을 향해 있지 않고, 프로그램이 어떻게 작동하는지에 대한 일관된 설명조차 없는 경우가 많다.

과장된 약속. 어떤 문제 해결 능력이든 자기 형식 안에 담을 수 있다는 믿음이 특정 시한 안에 특정 수준에 도달하리라는 공개된 예측으로 이어졌다는 것이다. 그리고 이렇게 덧붙인다.

새로운 일반 형식을 만드는 사람들이 자신의 희망을 지금까지보다 더 조심스러운 형태로 표현해준다면, AI의 나머지 연구자들에게 큰 위안이 될 것이다.

침체가 바깥의 비판만으로 온 것이 아니라는 것을, 안에 있던 사람이 남겨두었다.

한 가지 더. 매카시는 라이트힐이 조합 폭발을 최근에야 드러난 문제처럼 다룬다고 지적하며, 그 문제는 AI 초기부터 인식되고 있었고 '휴리스틱'이라는 말의 통상적 의미가 바로 그 폭발을 줄이는 장치라고 적었다. 벽이 새로 나타난 것이 아니라 그 벽에 대한 기대치가 어긋나 있었다는 것이다.

첫 번째 넘김 — 규칙을 만드는 일

규칙을 적는 방식의 한계가 드러나면서, 방향을 뒤집은 접근이 자리를 잡는다. 규칙을 사람이 적는 대신 데이터로부터 만들어내게 하는 것이다. 이것이 머신러닝이다.

무엇이 달라졌는지는 스팸 필터로 보면 분명하다. 규칙을 적는 방식이라면 "제목에 특정 단어가 있으면 스팸"처럼 조건을 하나씩 나열해야 한다. 학습 방식은 스팸으로 표시된 메일과 아닌 메일을 잔뜩 보여주고 구분하는 기준을 스스로 찾게 한다.

사람이 할 일이 사라진 것은 아니다. 어떤 데이터를 모을지, 무엇을 정답으로 표시할지, 그리고 모델이 무엇을 보게 할지는 여전히 사람이 정했다. 마지막 항목을 특징 설계라 하는데, 이것이 다음 넘김의 대상이 된다.

1986년 — 무엇을 볼지 정하는 일을 넘기다

특징 설계는 그럭저럭 할 만한 일이었다. 집값을 예측한다면 면적과 방 개수와 역까지의 거리를 사람이 골라 넣으면 된다. 문제는 사진이나 소리처럼 사람이 무엇을 봐야 할지 말로 설명하지 못하는 데이터였다.

역전파를 신경망 학습에 적용해 널리 알린 1986년 논문이 이 지점을 겨냥했다. 논문은 자기 성과를 이렇게 요약한다. 가중치를 조정한 결과로 입력도 출력도 아닌 내부의 은닉 유닛들이 문제 영역의 중요한 특징을 표현하게 된다는 것이다. 그리고 쓸모 있는 새로운 특징을 만들어내는 능력이야말로 이 방법을 앞선 단순한 방법들과 구별짓는 점이라고 밝혔다.

무엇을 볼지까지 학습으로 정하게 하는 이 방식이 딥러닝이다. 두 번째 넘김의 아이디어가 1986년에 이미 문서로 나와 있었다.

그런데 이 아이디어가 실제로 세상을 바꾸기까지는 수십 년이 더 걸렸다. 아이디어가 없어서가 아니라 그것을 감당할 조건이 없었기 때문이다.

2012년 — 조건이 갖춰지다

조건은 세 가지였다. 데이터가 인터넷과 디지털 기기의 보급으로 쌓였고, 연산은 그래픽 처리를 위해 만들어진 GPU가 이 계산에 적합하다는 것이 밝혀지면서 감당 가능해졌고, 알고리즘 쪽에서는 층을 깊게 쌓을 때 생기는 문제들을 완화하는 기법이 축적되었다.

세 조건이 맞물린 것을 보여준 사례가 2012년에 발표된 합성곱 신경망 논문이다. 이 모델은 2010년 이미지 인식 대회용으로 공개된 데이터에서 top-5 오차율 17.0%를 기록해 기존 최고 성능을 크게 앞섰다. 파라미터는 6천만 개, 뉴런은 65만 개였고, 논문은 학습 속도를 높이기 위해 합성곱 연산의 GPU 구현을 사용했다고 명시했다.

여기서 무엇이 새로웠는지를 정확히 짚을 필요가 있다. 신경망도 역전파도 새것이 아니었다. 새로운 것은 그것을 돌릴 수 있게 된 조건이었다.

2019년 이후 — 모델 만드는 일까지 넘기다

세 번째 넘김은 기술이 아니라 관행의 변화로 왔다.

2021년 스탠퍼드 보고서는 BERT가 등장한 무렵에 사회학적 변곡점이 있었다고 관찰한다. 2019년 이전까지 언어 모델을 이용한 자기지도학습은 자연어 처리의 한 하위 분야였는데, 2019년 이후로는 그것이 자연어 처리의 바탕이 되었다는 것이다. BERT를 쓰는 것이 표준이 되었기 때문이다.

같은 보고서가 이 전환을 규정한 문장은 이렇다. 하나의 모델이 그토록 광범위한 과제에 유용할 수 있다는 사실을 받아들인 것이 파운데이션 모델 시대의 시작을 표시한다.

그전까지 연구자들은 과제마다 전용 모델을 만들었다. 그 이후로는 남이 만들어둔 하나를 가져다 손보는 쪽이 기본이 되었다. 과제마다 모델을 만드는 일이 넘어간 것이다.

그리고 2020년에 이 방향에 근거가 붙었다. 언어 모델의 성능이 규모에 따라 어떻게 변하는지 측정한 연구가 손실이 모델 크기와 데이터셋 크기와 연산량 각각에 대해 거듭제곱 법칙으로 감소한다는 것을 보였고, 일부 경향은 일곱 자릿수 이상에 걸쳐 이어졌다. 성능이 예측 가능해지자 키우는 일 자체가 전략이 되었다. 오늘날의 대규모 언어 모델이 그 결과다.

넘길 때마다 같은 순서를 밟았다

규칙 만들기, 무엇을 볼지 정하기, 과제마다 모델 만들기. 세 번의 넘김을 나란히 놓으면 같은 형태가 보인다.

아이디어가 먼저 나온다. 1986년 논문은 내부 표현이 학습된다는 것을 이미 보였다. 그런데 그것이 세상을 바꾸기까지 수십 년이 걸렸다.

조건이 뒤늦게 갖춰진다. 데이터와 연산과 기법이 함께 모여야 아이디어가 작동한다. 2012년이 그 예다.

그리고 그 사이에 실망이 온다. 아이디어와 조건 사이의 간격이 곧 침체기다. 1973년의 논쟁이 벌어진 자리도 그 간격이었다.

여기서 반복되는 것 하나가 드러난다. 약속은 아이디어가 나온 시점에 하고, 실현은 조건이 갖춰진 시점에 된다. 그 사이가 길수록 실망도 커진다. 매카시가 동료들에게 희망을 더 조심스럽게 표현해달라고 요청한 것이 정확히 이 문제였다.

겨울을 몇 번으로 셀 것인가

이 주제를 다루는 자료에는 대개 침체기에 이름과 숫자가 붙어 있다. 그런데 그 숫자는 자료마다 다르다.

무엇을 겨울로 셀 것인지, 언제 시작해서 언제 끝났다고 볼 것인지에 합의가 없기 때문이다. 지원이 줄어든 나라가 어디였는지, 어떤 종류의 연구가 줄었는지에 따라 세는 방법이 달라진다.

그래서 이 글은 횟수를 적지 않는다. 횟수를 외우는 것보다 구조를 아는 편이 쓸모 있고, 구조는 문서로 확인할 수 있다.

그래서 지금을 어떻게 읽을 것인가

이 역사에서 가져갈 것은 세 가지다.

아이디어와 조건을 갈라서 본다. 새 발표를 볼 때 그것이 아이디어의 등장인지 조건이 갖춰졌다는 신호인지 구분하면, 언제쯤 실제로 쓰이게 될지에 대한 감이 달라진다. 1986년과 2012년 사이의 간격이 그 예다.

시한과 도달 수준이 함께 걸린 예측은 조심해서 읽는다. 매카시가 자기 분야에 요청한 것이 정확히 그것이었고, 그 요청이 나온 자리가 침체의 한복판이었다.

무엇이 넘어갔고 무엇이 남았는지를 센다. 지금도 무엇을 풀 문제로 삼을지, 어떤 데이터를 모을지, 결과를 무엇으로 평가할지는 사람의 결정으로 남아 있다. 넘어간 목록이 길어진 것이지, 사람이 할 일이 없어진 것이 아니다.

흔한 오해

"AI는 최근에 시작된 분야다." 이름이 붙은 문서는 1955년에 작성되었고, 그 문서가 제안한 연구 모임은 1956년 여름에 열렸다.

"딥러닝은 2010년대에 발명되었다." 역전파를 신경망 학습에 적용해 널리 알린 논문은 1986년에 나왔다. 2010년대에 달라진 것은 아이디어가 아니라 데이터·연산·기법이라는 조건이었다.

"AI 겨울은 기술이 실패해서 왔다." 1973년 논쟁의 기록을 보면 다툼의 핵심은 성과의 유무가 아니라 무엇을 성과로 셀 것인가였다. 매카시는 라이트힐의 세 범주에 AI의 주된 활동이 들어갈 자리가 없다고 반박했다.

"조합 폭발 같은 벽은 나중에 발견되었다." 매카시는 그 문제가 AI 초기부터 인식되고 있었으며 '휴리스틱'이라는 말 자체가 그 폭발을 줄이는 장치를 뜻한다고 지적했다. 새로 나타난 것은 벽이 아니라 어긋난 기대였다.

"침체는 외부의 몰이해 때문이었다." 매카시는 라이트힐을 반박한 뒤 자기 분야의 결함을 따로 열거했다. 작동 방식에 대한 설명 없이 결과만 발표하는 관행과 시한을 건 과장된 예측을 꼽았다.

"AI 겨울은 두 번 있었다." 횟수는 자료마다 다르다. 무엇을 겨울로 셀지, 어느 나라의 어떤 지원을 기준으로 볼지에 합의가 없기 때문이다.

"이제는 목표가 분명해졌다." 1955년 제안서가 목표로 적은 것은 "지금은 인간에게만 유보된 종류의 문제"였다. 기계가 하나를 해내면 그것은 목록에서 빠지므로, 목표는 정의상 계속 움직인다.

"기계에게 넘어간 것이 늘었으니 사람이 할 일은 줄었다." 넘어간 것은 규칙 작성, 특징 설계, 과제별 모델 제작이다. 무엇을 문제로 삼을지, 어떤 데이터를 모을지, 무엇을 잘하는 것으로 칠지, 결과를 어떻게 평가할지는 여전히 사람의 결정이다.

확인한 자료

• McCarthy, J., Minsky, M. L., Rochester, N. & Shannon, C. E., A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, 1955년 8월 31일 (매카시가 재편집해 스탠퍼드에 공개한 판본) — 1956년 여름 다트머스에서 두 달간 열 명이 인공지능을 연구하자는 제안, 학습의 모든 측면이나 지능의 다른 어떤 특징도 원리적으로 기계가 흉내 낼 수 있을 만큼 정밀하게 기술될 수 있다는 가정, 그리고 기계가 언어를 사용하고 추상과 개념을 형성하고 지금은 인간에게만 유보된 종류의 문제를 풀고 스스로를 개선하게 만드는 방법을 찾겠다는 서술.

• McCarthy, J., Review of "Artificial Intelligence: A General Survey", 스탠퍼드 대학 전산학과 공개 문서 (Lighthill, J., Artificial Intelligence: A General Survey, in Artificial Intelligence: a paper symposium, Science Research Council, 1973에 대한 서평) — 라이트힐 보고서가 영국 과학연구위원회의 의뢰로 연구 지원 결정을 돕기 위해 작성되었다는 배경, A·B·C 세 범주 구분과 B가 다른 두 범주에 기여하는 한에서만 가치 있다는 라이트힐의 규정, 이 분류를 진지하게 받아들이면 대부분의 AI 연구자가 즉시 지적 접점을 잃으며 그 범주에는 응용이나 신경계 구현과 무관하게 정보와 문제 해결 과정의 구조를 연구하는 활동이 들어갈 자리가 없다는 반박, 조합 폭발이 AI 초기부터 인식되어 있었고 휴리스틱이 그 폭발을 줄이는 장치라는 지적, "엄마 봐, 손 안 대고" 병에 대한 비판, 그리고 새로운 일반 형식의 제안자들이 희망을 더 조심스럽게 표현해달라는 요청.

• Rumelhart, D. E., Hinton, G. E. & Williams, R. J., Learning representations by back-propagating errors, Nature 323(6088), 533–536, 1986 — 가중치 조정의 결과로 입력도 출력도 아닌 내부의 은닉 유닛들이 문제 영역의 중요한 특징을 표현하게 된다는 서술, 그리고 쓸모 있는 새로운 특징을 만들어내는 능력이 이 방법을 앞선 단순한 방법들과 구별짓는다는 규정.

• Krizhevsky, A., Sutskever, I. & Hinton, G. E., ImageNet Classification with Deep Convolutional Neural Networks, NeurIPS 25, 2012 — 2010년 대회 데이터 기준 top-5 오차율 17.0%, 파라미터 6천만 개, 뉴런 65만 개, 그리고 학습 속도를 높이기 위한 합성곱 연산의 GPU 구현.

• Kaplan, J., McCandlish, S., Henighan, T. et al., Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020 — 손실이 모델 크기·데이터셋 크기·연산량 각각에 대해 거듭제곱 법칙으로 감소하며 일부 경향이 일곱 자릿수 이상에 걸친다는 결과.

• Bommasani, R., Hudson, D. A., Adeli, E. et al., On the Opportunities and Risks of Foundation Models, arXiv:2108.07258, Stanford HAI, 2021 — BERT 전후의 사회학적 변곡점과 2019년 이전에는 자기지도학습이 자연어 처리의 한 하위 분야였으나 이후 그 바탕이 되었다는 관찰, 그리고 하나의 모델이 광범위한 과제에 유용할 수 있다는 사실을 받아들인 것이 파운데이션 모델 시대의 시작을 표시한다는 규정.