Foundation Model이란 무엇인가

Foundation Model이란 무엇인가

파운데이션 모델은 광범위한 데이터로 미리 훈련해두고, 이후 여러 과제에 적응시켜 쓰는 모델이다.

이 말을 만든 2021년 스탠퍼드 보고서의 정의는 이렇다. 광범위한 데이터로 (일반적으로 대규모 자기지도학습을 통해) 훈련되어, 미세조정 같은 방법으로 광범위한 하위 과제에 적응될 수 있는 모든 모델. 당시의 예로 BERT, GPT-3, CLIP이 제시되었다.

용어 주의 — 한국어 번역이 정착하지 않았다. 기반 모델, 기초 모델, 토대 모델이 모두 쓰이고 원어를 그대로 옮긴 파운데이션 모델도 흔하다. 이 글은 원어 표기를 쓴다. 어느 번역을 만나든 같은 것을 가리킨다.

정의만 보면 특별할 것이 없어 보인다. 실제로 그렇다. 같은 보고서가 직접 밝히고 있다. 기술적 관점에서 보면 파운데이션 모델은 새롭지 않다. 심층 신경망과 자기지도학습에 기반하는데, 둘 다 수십 년 전부터 있던 것이기 때문이다.

그렇다면 왜 새 이름이 필요했는가. 이 글의 답은 이것이다.

파운데이션 모델은 기술의 이름이 아니라 관행의 이름이다.

무엇을 만드는지가 바뀐 것이 아니라 어떻게 쓰는지가 바뀌었고, 그 변화를 부를 말이 없어서 만들어진 것이 이 용어다. 아래에서 그 관행이 무엇인지, 그것이 어떤 성질을 낳았는지, 그리고 왜 이 이름이 논쟁이 되었는지를 차례로 본다.

새로워진 것은 기술이 아니라 관행이다

보고서에 흥미로운 관찰이 하나 있다. BERT가 등장한 무렵에 사회학적 변곡점이 있었다는 것이다.

2019년 이전까지 언어 모델을 이용한 자기지도학습은 자연어 처리의 한 하위 분야였다. 다른 흐름들과 나란히 진행되는 여러 갈래 중 하나였다는 뜻이다. 2019년 이후로는 그것이 자연어 처리의 바탕이 되었다. BERT를 쓰는 것이 표준이 되었기 때문이다.

보고서가 이 전환을 규정한 문장이 정확하다. 하나의 모델이 그토록 광범위한 과제에 유용할 수 있다는 사실을 받아들인 것이 파운데이션 모델 시대의 시작을 표시한다는 것이다.

받아들였다는 표현에 주목할 만하다. 새 기술이 발명된 순간이 아니라 분야가 일하는 방식을 바꾸기로 한 순간이다. 그전까지 연구자들은 과제마다 전용 모델을 만들었다. 그 이후로는 남이 만들어둔 하나를 가져다 손보는 쪽이 기본이 되었다.

이 변화가 두 가지 결과를 낳았다. 하나는 시키지 않은 능력이 나타나기 시작했다는 것이고, 다른 하나는 모두가 같은 것을 쓰게 되었다는 것이다. 보고서는 이 둘을 창발과 동질화라 부른다.

이 두 단어로 지난 30년을 다시 읽으면 하나의 흐름이 보인다.

단계마다 사람이 손으로 지정하던 것이 하나씩 자동으로 넘어갔고, 동시에 같은 것을 돌려쓰는 범위가 넓어졌다. 파운데이션 모델 단계의 특징은 공유되는 대상이 알고리즘도 구조도 아닌 모델 자체라는 데 있다.

창발 — 시키지 않은 것이 나타난다

보고서의 정의는 이렇다. 창발이란 시스템의 행동이 명시적으로 구성되는 것이 아니라 암묵적으로 유도된다는 뜻이다. 그리고 이것이 과학적 흥분의 원천인 동시에 예기치 못한 결과에 대한 불안의 원천이라고 덧붙인다.

대표적인 예가 인컨텍스트 학습 이다. 프롬프트에 과제를 자연어로 설명해주는 것만으로 모델이 그 과제를 수행하는 현상인데, 보고서는 이것을 명시적으로 훈련된 적도 없고 나타나리라 예상된 적도 없는 창발적 성질이라고 서술한다. 1750억 개의 파라미터를 가진 GPT-3에서 이 성질이 나타났고, 직전 모델의 파라미터는 15억 개였다. 보고서는 이런 기능이 충분한 규모의 모델에서만 확인되었다고 적는다.

여기서 따라 나오는 것이 있다. 능력이 설계된 것이 아니라 나타난 것이라면, 그 능력의 범위도 한계도 미리 알 수 없다. 보고서의 표현이 이 점을 짚는다. 파운데이션 모델의 힘은 명시적 구성이 아니라 창발적 성질에서 나오므로, 이런 모델은 이해하기 어렵고 예상치 못한 실패 방식을 가진다.

무엇을 할 수 있는지 목록으로 적을 수 없고, 무엇에서 실패하는지도 미리 열거할 수 없다. 만들어놓고 나서 시험해봐야 안다.

동질화 — 하나를 모두가 쓴다

보고서의 정의는 이렇다. 동질화란 광범위한 응용 분야에 걸쳐 시스템을 만드는 방법론이 하나로 수렴한다는 뜻이다. 여러 과제에 강력한 지렛대를 제공하지만 동시에 단일 실패 지점을 만든다.

보고서 작성 당시의 상황 서술이 구체적이다. 거의 모든 최신 자연어 처리 모델이 BERT, RoBERTa, BART, T5 같은 소수의 파운데이션 모델 중 하나로부터 적응된 것이었다.

이것이 왜 지렛대인지는 분명하다. 파운데이션 모델 하나가 개선되면 그 즉시 분야 전체에 이득이 돌아간다. 그런데 같은 구조가 반대로도 작동한다. 보고서의 문장이 강하다.

모델의 어떤 결함이든 적응된 모든 모델에 맹목적으로 상속된다.

편향 하나가 소수의 모델에 들어 있으면, 그로부터 파생된 모든 시스템이 같은 편향을 물려받는다. 각 시스템을 만든 사람들이 그것을 알지 못한 채로 그렇게 된다.

그리고 만드는 곳이 소수다

동질화가 더 무거운 이유가 하나 더 있다. 소수의 모델을 만드는 곳도 소수다.

보고서에 따르면 파운데이션 모델의 기반 기술은 학계와 산업 양쪽에서 나왔지만, 파운데이션 모델 자체를 만드는 연구는 거의 전적으로 산업에서 일어났다. 그리고 이것이 되돌림이라고 본다. 딥러닝 혁명의 자주 간과되는 효과 중 하나가 재현성과 열린 과학의 증가였는데, 파운데이션 모델은 그 흐름을 되돌리기 시작했다는 것이다. 아예 공개되지 않는 모델이 있고, 공개된 모델이라도 훨씬 높은 연산 비용과 복잡한 공학적 요구 때문에 실제 훈련은 대다수 연구자에게 불가능하다.

보고서 저자들이 스스로에게 던진 문장이 오래 남는다.

오늘날 자연어 처리 연구가 얼마나 많이 BERT라는 특정한, 그리고 다소 임의적인 하나의 파운데이션 모델에 기반하고 있는지 돌아볼 만하다.

두 성질이 만나는 지점

창발과 동질화를 따로 보면 각각 장단이 있다. 그런데 보고서는 둘이 불편한 방식으로 상호작용한다고 지적한다.

창발이 능력과 결함 모두에 대해 상당한 불확실성을 만들어내는데, 바로 그런 모델을 모두가 공통 기반으로 쓰고 있다는 것이다. 보고서의 결론은 직설적이다. 이런 모델을 통한 공격적인 동질화는 위험한 일이다.

한 문장으로 줄이면 이렇게 된다.

우리가 온전히 이해하지 못하는 것을, 거의 모두가 같은 것으로 쓰고 있다.

어떻게 이것이 가능해졌는가

관행이 바뀌려면 그 관행을 감당할 조건이 갖춰져야 했다. 보고서의 표현이 정확하다. 전이학습이 파운데이션 모델을 가능하게 만들고, 규모가 그것을 강력하게 만든다.

전이학습은 한 과제에서 얻은 지식을 다른 과제에 적용한다는 발상이다. 딥러닝에서 이를 구현하는 지배적인 방식이 사전학습 이다. 먼저 큰 데이터로 모델을 만들어두고, 그다음 원하는 과제에 맞춰 조정한다.

규모를 키우는 데는 세 가지가 필요했다.

하드웨어 — GPU의 처리량과 메모리가 보고서 작성 시점 기준 지난 4년 동안 10배 늘었다. 구조 — 트랜스포머 가 하드웨어의 병렬성을 활용해 이전보다 훨씬 표현력 있는 모델을 훈련할 수 있게 했다. 데이터 — 훨씬 많은 훈련 데이터를 쓸 수 있게 됐다.

자기지도학습 — 정답을 데이터에서 뽑아낸다

세 번째가 가능해진 이유가 특히 중요하다. 사람이 정답을 붙인 데이터로 사전학습하는 방식은 10년 넘게 쓰였지만, 주석 작업의 만만치 않은 비용이 그 이득에 실질적인 한계를 지웠다.

자기지도학습 이 이 한계를 넘었다. 사전학습 과제를 주석 없는 데이터로부터 자동으로 만들어내기 때문이다. 문장에서 한 단어를 가리고 주변 맥락으로 맞히게 하는 방식이 그 예다. 정답이 원문에 이미 들어 있으니 사람이 따로 붙일 것이 없고, 그래서 인터넷 규모의 텍스트를 그대로 쓸 수 있다.

보고서는 이점을 하나 더 짚는다. 자기지도 과제는 모델이 입력의 일부를 예측하도록 강제하므로, 제한된 레이블 공간에서 학습한 모델보다 더 풍부할 수 있다는 것이다.

그래서 왜 '토대'라는 이름인가

여기까지가 무엇이 일어났는가에 대한 설명이다. 이제 그것을 무엇이라 부를 것인가의 문제가 남는다.

보고서에는 명명 과정을 설명하는 절이 따로 있다. 출발점은 이것이다. 우리가 목격하고 있는 패러다임 전환을 서술할 말이 비어 있어서 이 용어를 도입했다.

기존 이름들을 물리친 이유도 하나씩 적어놓았다.

이 표를 보면 저자들이 무엇을 담고 싶어 했는지가 드러난다. 기술을 정확히 가리키는 말이 아니라, 무슨 일이 벌어지고 있는지를 바깥 사람에게 알릴 말을 찾고 있었다.

그래서 왜 '파운데이션'인가. 설명은 두 겹이다.

첫째는 역할이다. 파운데이션 모델은 그 자체로 불완전하지만, 여러 과제별 모델이 적응을 통해 세워지는 공통의 기반이 된다.

둘째는 함의다. 보고서는 건축적 안정성, 안전, 보안의 중요성을 함축하기 위해 이 말을 골랐다고 밝힌다. 부실하게 지은 토대는 재앙의 지름길이고 잘 지은 토대는 믿을 만한 반석이라는 것이다.

그리고 같은 절이 이렇게 끝난다.

현재로서 우리는 파운데이션 모델이 제공하는 토대의 성격이나 품질을 온전히 이해하지 못하며, 그 토대가 신뢰할 만한지 아닌지를 특징지을 수 없다는 점을 강조한다.

이름을 붙인 사람들이 직접 쓴 문장이다. 그리고 이 문장이 다음 절의 출발점이 된다.

그 이름은 논쟁이 되었다

같은 해에 나온 반박 글이 정확히 이 지점을 붙잡았다. 게리 마커스와 어니스트 데이비스가 쓴 글인데, 출발점은 '토대'라는 말이 원래 무엇을 뜻하는가였다.

이들의 논지는 이렇다. 토대란 복잡한 것이 그 위에 세워지는 반석이다. 소프트웨어는 하드웨어와 컴퓨터 구조와 운영체제라는 토대 위에 세워지고, 프로그래머는 파일을 저장하고 불러오고 입력을 받는 방식을 사실상 완벽한 신뢰성으로 기대할 수 있다. 그 전제들이 아래에 믿을 만하게 놓여 있기 때문에 워드프로세서나 브라우저를 만들 수 있다는 것이다.

그렇다면 AI의 토대도 비슷한 것을 제공해야 한다. 새 정보를 흡수해 믿을 만하게 쓸 수 있어야 하고, 한 지점에서 다른 지점으로 믿을 만하게 추론할 수 있어야 한다.

그리고 보고서의 그 고백을 그대로 되받는다.

보고서는 아무렇지도 않게 "우리는 파운데이션 모델이 제공하는 토대의 성격이나 품질을 온전히 이해하지 못한다"고 적었다. 그렇다면 왜 그것들을 거창하게 파운데이션 모델이라고 부르는가?

같은 글은 다른 연구자들의 반응도 인용한다. 지텐드라 말리크는 파운데이션 모델 워크숍에서 "AI의 토대로 이야기하는 것에 대해 강하게 비판적인 입장을 취하겠다. 이 모델들은 공중누각이다. 토대라고는 전혀 없다" 고 말했다. 주디아 펄은 "파운데이션 모델이 우리가 아는 데이터 중심 방법의 이론적 한계를 우회할 수 있게 하는 과학적 원리가 무엇인가" 라고 물었다. 마크 리들은 "매우 큰 사전학습 신경 언어 모델을 '파운데이션' 모델로 브랜딩한 것은 훌륭한 홍보 수완이다. 그것들을 AI의 어떤 미래에도 필연적인 것으로 전제해버린다" 고 적었다.

에밀리 벤더의 우려도 실린다. 과장된 주장이 다른 모든 종류의 연구를 위한 산소를 방에서 빨아들인다는 것이다.

이 논쟁의 성격

주목할 점이 있다. 양쪽이 다투는 것은 기술의 내용이 아니다.

파운데이션 모델이 무엇으로 만들어지는지, 어떻게 훈련되는지, 무엇을 할 수 있는지에 대해서는 이견이 거의 없다. 다투는 것은 그것을 무엇이라 부를 것인가이다.

그런데 이름은 중립적이지 않다. 리들의 지적이 그 점을 짚는다. '파운데이션'이라 부르는 순간 그것이 앞으로의 AI에 필연적인 것처럼 전제된다. 그리고 보고서 저자들 역시 그 이름에 안정성과 안전의 함의를 담으려 했다고 스스로 밝혔다. 양쪽 다 이름이 무언가를 한다는 데는 동의하는 셈이다.

여기서 자료를 읽을 때 쓸 수 있는 것이 하나 생긴다. 어떤 글이 '파운데이션 모델'이라 쓰는지 '대규모 언어 모델'이라 쓰는지가, 그 글이 어느 쪽 관점에 서 있는지를 가리키는 신호일 수 있다.

그 뒤에 무슨 일이 있었는가 — 법이 고른 이름

이 논쟁은 학계 안에서 끝나지 않았다. 이 말이 법 조문에 들어갔기 때문이다.

유럽연합의 AI 법안 입법 과정에서 유럽의회가 2023년 6월에 채택한 협상 입장이 파운데이션 모델을 다룬 최초의 공식 EU 문서였다. 이 용어가 제안된 지 2년 만에 규제 대상의 이름이 된 것이다.

그런데 2024년에 확정된 최종 법에서는 그 말이 쓰이지 않는다. 최종 법은 범용 인공지능 모델(general-purpose AI model) 이라는 용어를 쓰고, 이 대상에 별도의 장 하나를 통째로 배정했다.

이름을 만든 스탠퍼드 센터 자신이 이 변화를 정리해두었다. 유럽의회 제안과 스탠퍼드 제안은 파운데이션 모델이라는 말을 쓰는 반면 최종 법은 범용 인공지능 모델이라는 말을 쓰는데, 세 문서 모두 2021년의 원래 정의에 가깝게 정렬된 유사한 정의를 공유한다는 것이다.

최종 법의 정의를 보면 그 말이 무슨 뜻인지 알 수 있다. 대규모 자기지도학습으로 대량의 데이터를 학습한 경우를 포함하여, 상당한 일반성을 보이고 시장에 놓인 방식과 무관하게 광범위하고 서로 구별되는 과제들을 유능하게 수행할 수 있으며, 다양한 하류 시스템이나 응용에 통합될 수 있는 AI 모델.

2021년 보고서의 정의와 나란히 놓고 보면 뼈대가 겹친다. 광범위한 데이터, 대규모 자기지도학습, 여러 과제로의 적응. 조문에 맞춰 다듬은 부분은 있지만, 가리키는 대상은 사실상 같고 부르는 이름이 달라졌다.

이 결말이 뜻하는 것

여기서 양쪽 다 얻은 것과 잃은 것이 있다.

이름을 만든 쪽이 얻은 것은 대상 그 자체다. 이 범주가 없었다면 규제할 것도 없었다. 언어 모델이라고만 불렀다면 이미지를 만드는 모델은 빠졌을 것이고, 제품별로 규제했다면 그 위에 무엇을 얹느냐에 따라 매번 달라졌을 것이다. 하나의 이름이 생기니 하나의 규제 대상이 생겼다. 이름이 실제로 한 일이 이것이다.

비판한 쪽이 얻은 것은 은유의 탈락이다. 최종 법은 '토대'라는 말을 쓰지 않는다. 그 대신 무엇을 하는 모델인지를 그대로 서술하는 이름을 골랐다. 안정성과 신뢰성을 함축하려던 은유는 법 조문에 들어가지 못했다.

정리하면 이렇게 된다.

설명은 살아남았고, 은유는 떨어져 나갔다.

어느 한쪽이 이긴 것이 아니다. 무엇을 가리키는지에 대해서는 합의가 이루어졌고, 그것을 무엇에 빗댈 것인지에 대해서는 합의가 이루어지지 않았다.

그래서 무엇을 보고 판단할 것인가

이 논쟁을 알고 나면 실용적인 결론이 하나 남는다. 파운데이션 모델만 보고 판단할 수 없다는 것이다.

보고서 자신이 이 점을 강조한다. 파운데이션 모델은 미완성의 중간 산물이며 일반적으로 직접 사용해서는 안 되고 적응이 필요하다. 실제로 사람에게 도달하는 것은 그 위에 여러 모듈과 규칙과 필터를 얹은 시스템이다.

생태계의 다섯 단계

보고서는 생태계를 다섯 단계로 나눈다.

데이터 생성 — 모든 데이터는 사람이 만들고 대부분은 최소한 암묵적으로 사람에 관한 것이다. 모든 데이터에는 소유자가 있고 목적을 가지고 만들어지는데, 그 목적이 파운데이션 모델 훈련을 포함할 수도 아닐 수도 있다.

데이터 큐레이션 — 데이터가 데이터셋으로 정리된다. 데이터의 자연스러운 분포라는 것은 없다. 가장 관대한 인터넷 크롤링조차 선택과 사후 필터링을 요구한다.

훈련 — 연구에서 각광받는 중심이지만 여러 단계 중 하나일 뿐이다.

적응 — 배포를 위한 적응은 여러 모듈, 맞춤 규칙, 별도의 분류기, 다른 신호와의 결합을 요구한다. 보고서의 예가 실용적이다. 유해한 내용을 생성할 수 있는 문제적 모델이라도 하류에서 적절한 예방 조치를 취하면 감당할 수 있을지 모른다.

배포 — 직접적인 사회적 영향은 사람에게 배포될 때 발생한다. 보고서는 배포가 구성과는 별개의 결정이라고 명시한다.

여기서 나오는 표어가 "생태계로 생각하고, 모델로 행동하라" 이다. 영향은 전체에 달려 있지만 대부분의 사람이 관여하는 것은 한 단계뿐이니, 그 안에서 할 수 있는 일을 하되 시야는 전체에 두라는 뜻이다.

그리고 이것이 이 글의 결론이기도 하다. 파운데이션 모델은 토대라 불렸지만, 그 위에 무엇이 어떻게 얹히느냐가 실제로 사람이 겪는 것을 결정한다. 법이 은유를 버리고 서술을 택한 것도 같은 이유로 읽을 수 있다. 이 대상을 관리하려면 그것이 무엇에 빗대어지는가가 아니라 무엇을 하는가를 봐야 하기 때문이다.

흔한 오해

"파운데이션 모델은 새로운 기술이다." 보고서 자신이 기술적으로 새롭지 않다고 밝힌다. 심층 신경망과 자기지도학습은 수십 년 전부터 있었다. 새로운 것은 규모와, 하나의 모델을 모두가 공통 기반으로 쓰게 된 관행이다.

"파운데이션 모델은 대규모 언어 모델의 다른 이름이다." 보고서는 언어 모델이라는 말이 너무 좁다고 보고 이 용어를 골랐다. 이미지와 언어를 함께 다루는 모델도 포함된다. 다만 비판하는 쪽은 실질적으로 같은 것을 다르게 부른 것에 가깝다고 본다.

"파운데이션 모델은 확립된 학술 용어다." 2021년 스탠퍼드 보고서가 만든 말이고, 그 이름 자체가 논쟁의 대상이 되었다. 공중누각이라는 비판과 홍보 수완이라는 비판이 공개적으로 제기되었다.

"이름은 그냥 이름일 뿐이다." 이 논쟁의 요점이 그 반대다. 비판하는 쪽은 '토대'라는 말이 그것을 앞으로의 AI에 필연적인 것처럼 전제한다고 지적했고, 보고서 저자들도 이름에 안정성과 안전의 함의를 담으려 했다고 밝혔다.

"토대라고 불릴 만큼 믿을 만하다는 뜻이다." 보고서 자신이 그 토대의 품질을 온전히 이해하지 못하며 신뢰할 만한지 특징지을 수 없다고 명시했다. 비판 쪽의 반문이 바로 이 문장을 겨냥한다.

"하나의 모델을 모두가 쓰면 효율적이니 좋은 일이다." 지렛대는 크지만 결함도 그대로 상속된다. 보고서는 이것을 단일 실패 지점이라 부르며, 이해하지 못하는 모델을 통한 공격적 동질화는 위험한 일이라고 적었다.

"파운데이션 모델을 그대로 쓰면 된다." 보고서는 이것을 미완성의 중간 산물이라 부르며 직접 사용해서는 안 되고 적응이 필요하다고 서술한다. 실제로 쓰이는 것은 그 위에 여러 모듈과 규칙과 필터를 얹은 시스템이다.

"파운데이션 모델은 법적 용어다." 유럽의회의 2023년 협상 입장에는 들어갔지만, 2024년에 확정된 최종 법은 범용 인공지능 모델이라는 다른 용어를 쓴다. 정의의 내용은 거의 같고 이름만 다르다.

확인한 자료

• Bommasani, R., Hudson, D. A., Adeli, E. et al., On the Opportunities and Risks of Foundation Models, arXiv:2108.07258, Center for Research on Foundation Models, Stanford HAI, 2021 — 서론 및 §1.1.1 명명 절 전문. 광범위한 데이터로 자기지도학습을 통해 훈련되어 하위 과제에 적응될 수 있는 모델이라는 정의와 BERT·GPT-3·CLIP 예시, 기술적으로 새롭지 않다는 서술, BERT 전후의 사회학적 변곡점과 하나의 모델이 광범위한 과제에 유용하다는 사실을 받아들인 것이 시대의 시작이라는 규정, 창발과 동질화의 정의 및 머신러닝·딥러닝·파운데이션 모델 세 단계의 대비, 인컨텍스트 학습이 예상되지 않은 창발적 성질이며 충분한 규모의 모델에서만 확인되었다는 서술과 1750억 대 15억 파라미터 대비, 창발적 성질 때문에 이해하기 어렵고 실패 방식이 예상 밖이라는 지적, 소수 모델로부터의 적응이 지배적이며 결함이 모든 적응 모델에 상속된다는 서술과 공격적 동질화가 위험하다는 결론, 산업 편중과 접근성 손실 및 BERT 의존에 대한 반성, 규모의 세 재료(하드웨어 10배·트랜스포머·데이터)와 자기지도학습이 주석 없는 데이터에서 과제를 자동으로 만든다는 설명, 기존 용어들을 물리친 이유와 '파운데이션'을 고른 두 가지 근거, 토대의 품질을 특징지을 수 없다는 고백, 미완성 중간 산물이라는 규정, 생태계 다섯 단계와 "생태계로 생각하고 모델로 행동하라".

• Marcus, G. & Davis, E., Has AI found a new Foundation?, The Gradient, 2021 — 토대라는 말의 통상적 의미와 소프트웨어가 하드웨어·운영체제 위에 사실상 완벽한 신뢰성으로 세워진다는 논지, 토대의 품질을 모른다면서 왜 파운데이션 모델이라 부르느냐는 반문, 사전학습 언어 모델의 개명이 오해를 부른다는 우려, 그리고 이들이 인용한 지텐드라 말리크의 "공중누각" 발언, 주디아 펄의 이론적 한계 우회에 관한 질문, 마크 리들의 홍보 수완 지적, 에밀리 벤더의 산소 비유.

• Bommasani, R., Hau, A., Klyman, K. & Liang, P., Foundation Models under the EU AI Act, Stanford Center for Research on Foundation Models, 2024 — 유럽의회의 2023년 6월 협상 입장이 파운데이션 모델을 도입한 최초의 공식 EU 문서라는 서술, 최종 법이 범용 인공지능 모델이라는 용어를 쓰며 제5장을 배정했다는 정리, 세 문서가 2021년 원래 정의에 가깝게 정렬된 유사한 정의를 공유한다는 지적, 그리고 최종 법의 범용 인공지능 모델 정의 전문.