대규모 언어 모델이란 무엇인가

대규모 언어 모델이란 무엇인가

대규모 언어 모델은 방대한 텍스트로 다음에 올 토큰을 맞히도록 훈련된, 매우 큰 신경망이다.

여기서 토큰(token) 은 모델이 텍스트를 다룰 때 쓰는 최소 단위다. 글자도 단어도 아닌 그 사이 어딘가의 조각인데, 이것이 왜 중요한지는 뒤에서 따로 본다.

정의는 이렇게 짧다. 그런데 이 짧은 문장이 왜 오늘날 AI의 중심이 되었는지는 설명이 필요하다. 다음 단어 맞히기는 대단해 보이는 과제가 아니고, 크게 만드는 것도 그 자체로는 아이디어가 아니기 때문이다.

이 글의 답은 언어의 이중성에 있다.

언어는 데이터이기도 하고 인터페이스이기도 하다.

데이터로서 언어는 이미 인터넷에 방대하게 쌓여 있었고, 정답을 사람이 붙일 필요가 없는 형태였다. 그래서 규모를 키울 수 있었다. 인터페이스로서 언어는 거의 모든 과제를 표현할 수 있다. 번역도, 분류도, 요약도, 질문에 답하는 것도 전부 글로 쓸 수 있다. 그래서 하나의 모델이 여러 일을 하게 되었다.

이 두 가지가 맞물린 결과가 대규모 언어 모델이다. 아래에서 각각을 살펴보고, 그 과정에서 모델이 실제로 무엇을 보고 있는지도 함께 본다.

용어 주의 — 영어 약어 LLM(Large Language Model)이 한국어 자료에서도 그대로 쓰이는 경우가 많다. 거대 언어 모델, 초거대 언어 모델이라는 번역도 함께 쓰인다. 전부 같은 것을 가리킨다.

데이터로서의 언어 — 왜 규모를 키울 수 있었는가

모델을 키우려면 그만큼 많은 학습 재료가 있어야 한다. 그런데 사람이 정답을 붙인 데이터는 아무리 모아도 한계가 있다.

언어에는 이 문제가 없었다. 자기지도학습 덕분이다. 문장에서 다음에 올 단어를 맞히는 과제는 정답이 원문에 이미 들어 있다. "오늘 날씨가"까지 보여주고 다음이 무엇인지 맞히게 하면, 정답은 원문의 그다음 단어다. 사람이 따로 붙일 것이 없다.

그래서 인터넷에 있는 텍스트를 거의 그대로 학습 재료로 쓸 수 있었다. 재료가 무한에 가깝게 확보되자 비로소 규모를 키우는 것이 의미 있는 전략이 되었다.

재료가 있어도 그것을 감당할 구조가 없으면 소용이 없다. 그 자리를 채운 것이 트랜스포머 다. 입력의 모든 부분이 서로를 직접 참조하는 방식이라 계산을 병렬로 나눌 수 있고, 그 덕분에 이전 구조로는 감당할 수 없던 규모의 훈련이 가능해졌다.

이 단계, 즉 방대한 텍스트로 다음 토큰을 맞히게 하는 과정을 사전학습이라 한다. 모델의 파라미터 대부분이 여기서 정해지고 비용도 압도적으로 여기서 든다.

스케일링 법칙 — 커지면 좋아진다는 것이 측정되었다

2020년의 한 연구가 이 전략에 근거를 제공했다. 언어 모델의 성능이 규모에 따라 어떻게 변하는지를 체계적으로 측정한 것이다.

결과는 이랬다. 손실은 모델 크기, 데이터셋 크기, 훈련에 쓴 연산량 각각에 대해 거듭제곱 법칙(power law)으로 감소했고, 일부 경향은 일곱 자릿수 이상의 범위에 걸쳐 이어졌다. 반면 신경망의 너비나 깊이 같은 구조적 세부 사항은 넓은 범위에서 영향이 미미했다.

이것이 왜 중요한가. 성능이 예측 가능해졌다는 뜻이기 때문이다. 얼마를 투자하면 어느 정도가 되는지 미리 계산할 수 있다면, 투자를 결정할 수 있다. 같은 연구는 고정된 연산 예산을 어떻게 배분해야 최적인지까지 도출했고, 큰 모델이 표본 효율이 훨씬 좋아서 매우 큰 모델을 상대적으로 적은 데이터로 훈련시키고 수렴 훨씬 전에 멈추는 것이 연산 효율 면에서 최적이라고 결론지었다.

친칠라 — 그 결론이 2년 만에 수정되었다

2022년에 나온 연구가 위 결론의 뒷부분을 뒤집었다. 이 연구는 당시의 대규모 언어 모델들이 심각하게 덜 훈련되어 있다고 지적하면서, 그것이 훈련 데이터 양은 그대로 둔 채 모델 규모만 키워온 최근 흐름의 결과라고 진단했다.

7천만 개에서 160억 개가 넘는 파라미터에 이르는 400개 이상의 모델을 50억에서 5천억 토큰으로 훈련시켜 확인한 결론은 이랬다. 연산 효율이 최적이 되려면 모델 크기와 훈련 토큰 수를 같은 비율로 키워야 한다. 모델 크기를 두 배로 하면 훈련 토큰도 두 배로 해야 한다는 것이다.

이 가설을 검증하려고 훈련한 모델이 친칠라다. 280B 파라미터 모델과 같은 연산 예산을 쓰되 파라미터는 70B로 줄이고 데이터를 네 배로 늘렸다. 결과는 280B 모델은 물론이고 175B, 178B, 530B 모델까지 광범위한 과제에서 앞섰다.

여기서 얻을 것이 두 가지다.

하나, 파라미터 수만으로 모델을 비교할 수 없다. 같은 크기라도 얼마나 많은 데이터로 훈련했느냐에 따라 성능이 다르다.

둘, 스케일링 법칙 자체가 수정되는 대상이다. 2020년의 결론이 2년 만에 중요한 부분에서 바뀌었다. 이 분야에서 "법칙"이라 불리는 것들도 관찰된 경향이지 물리 법칙이 아니다.

얼마나 커야 '대규모'인가

여기서 자연스럽게 나오는 질문이 있다. 그런데 엄밀한 기준선은 없다.

파라미터가 몇 개 이상이면 대규모라는 합의된 숫자가 없고, 있다 해도 금방 낡는다. 대규모라 불리던 크기가 몇 년 뒤에는 작은 축에 드는 일이 반복되어 왔다. 게다가 친칠라의 결론대로라면 파라미터 수 하나로는 모델을 비교할 수도 없다.

기준선을 외우는 것보다 이렇게 보는 편이 정확하다.

'대규모'는 특정 숫자를 가리키는 말이 아니라, 규모를 키우는 것 자체가 전략이 된 시기의 모델들을 부르는 말이다.

그전에도 언어 모델은 있었다. 달라진 것은 크기를 키우면 성능이 예측 가능하게 좋아진다는 것이 확인되면서, 키우는 일 자체가 연구와 투자의 방향이 되었다는 점이다.

인터페이스로서의 언어 — 왜 하나가 여러 일을 하는가

규모만으로는 설명이 안 되는 부분이 남는다. 이미지 모델도 크게 만들 수 있는데, 왜 언어 모델이 여러 과제의 공통 도구가 되었는가.

답은 거의 모든 과제를 텍스트로 쓸 수 있다는 데 있다.

2020년의 한 연구가 이 발상을 체계화했다. 텍스트 기반의 모든 언어 문제를 텍스트를 넣고 텍스트를 받는 형식으로 변환하는 통일된 틀을 제안한 것이다. 이 연구가 명시한 범위가 중요하다. 번역, 질의응답, 분류를 포함해 다루는 모든 과제를 모델에 텍스트를 입력하고 목표 텍스트를 생성하도록 훈련시키는 것으로 바꿨다.

그래서 무엇이 가능해졌는가. 같은 연구의 설명이 정확하다. 이 방식은 다양한 과제 전체에 같은 모델, 같은 손실 함수, 같은 하이퍼파라미터를 쓸 수 있게 해준다.

이 점을 실감하려면 이전 방식과 비교하면 된다. 예전에는 번역 모델, 분류 모델, 요약 모델을 각각 따로 만들었다. 각각 다른 구조, 다른 출력 형식, 다른 평가 방식을 가졌다. 텍스트-투-텍스트 틀에서는 셋이 전부 같은 일이 된다. 입력 텍스트를 받아 출력 텍스트를 내놓는 일이다.

감정 분류가 좋은 예다. 예전에는 모델이 0 또는 1을 내놓게 만들었다. 지금은 "긍정" 또는 "부정"이라는 글자를 내놓게 한다. 겉보기에 사소한 차이 같지만, 이 변경 덕분에 분류 전용 모델을 따로 만들 필요가 없어졌다.

그래서 프롬프트가 인터페이스가 되었다

이 구조에서 자연스럽게 따라 나오는 것이 있다. 과제를 지정하는 방법도 텍스트가 된다는 것이다.

무엇을 할지 별도의 설정으로 지정하는 것이 아니라 글로 적어 넣는다. "다음 문장을 한국어로 번역하라"라고 쓰면 번역기가 되고, "이 글을 세 줄로 요약하라"라고 쓰면 요약기가 된다. 모델은 그 지시문까지 포함한 텍스트 뒤에 이어질 법한 것을 계산할 뿐인데, 결과적으로 지시를 따른 것처럼 보인다.

언어가 데이터이면서 동시에 조작 수단이 된 것이다. 이것이 이 글이 말하는 이중성의 실질적 의미다.

다만 그것만으로는 지시를 따르지 않는다

한 가지 단서가 필요하다. 방대한 텍스트로 다음 토큰만 맞히도록 훈련한 모델은 문장을 이어 쓸 줄은 알지만 지시를 따르는 데는 서툴다. 질문을 넣으면 답을 하는 대신 비슷한 질문을 더 나열하는 식으로 반응하기도 한다. 인터넷 텍스트에는 그런 패턴도 많기 때문이다.

그래서 사전학습 뒤에 한 단계가 더 붙는다. 사람이 쓴 모범 답변으로 추가 훈련하고, 사람의 선호를 반영해 다시 조정한다. 이 과정을 사후학습 이라 한다.

우리가 겪는 챗봇의 말투와 태도는 대부분 이 단계에서 만들어진 것이다. 언어가 인터페이스가 될 수 있었던 것은 텍스트-투-텍스트라는 형식 덕분이지만, 그 인터페이스가 실제로 말이 통하게 된 것은 이 추가 훈련 덕분이다.

모델이 실제로 보는 것 — 토큰

여기서 중요한 단서가 하나 붙는다. 대규모 언어 모델은 글자를 보지 않고 단어도 보지 않는다.

모델이 다루는 단위는 토큰(token) 이다. 텍스트를 숫자로 바꾸기 전에 잘게 자른 조각인데, 그 조각의 경계가 글자 단위도 단어 단위도 아니다. 자주 나오는 덩어리는 통째로 하나가 되고, 드문 것은 여러 조각으로 쪼개진다. 이 자르는 규칙을 토크나이저(tokenizer) 라 하며, 모델을 만들 때 데이터로부터 학습된다.

영어에서는 흔한 단어 하나가 대체로 토큰 하나가 된다. 반면 드문 고유명사나 긴 합성어는 여러 조각으로 갈린다.

토큰이 만드는 결과들

이 구조에서 여러 성질이 따라 나온다.

글자 수를 세는 일에 약하다. 모델은 글자를 개별적으로 보지 않으므로, "이 단어에 r이 몇 개 들어 있나" 같은 질문이 의외로 어렵다. 사람에게는 쉬운 일이 모델에게 어려운 대표적인 경우다.

같은 내용이라도 언어에 따라 토큰 수가 다르다. 토크나이저는 학습 데이터에 자주 나온 것을 짧게 자르도록 만들어진다. 영어 텍스트가 압도적으로 많았다면 영어가 가장 효율적으로 잘린다.

그래서 비용과 길이 제한이 언어마다 달라진다. 상용 API는 대개 토큰 수로 요금을 매긴다. 그리고 한 번에 넣을 수 있는 입력의 최대 길이도 토큰 수로 정해지는데, 이 한계를 컨텍스트 윈도우(context window) 라 한다. 같은 내용이 더 많은 토큰으로 쪼개지는 언어는 더 비싸고, 한 번에 넣을 수 있는 양도 적다.

2023년의 한 연구가 이 문제를 정면으로 분석했다. 22개의 유형론적으로 다양한 언어에 대해 상용 API의 비용과 효용을 체계적으로 검토한 결과, 지원되는 언어 중 상당수의 사용자가 더 많은 요금을 내면서 더 나쁜 결과를 얻고 있다는 증거를 제시했다. 그리고 그런 사용자들이 애초에 API 요금을 감당하기 더 어려운 지역 출신인 경향이 있다는 점도 함께 지적했다.

한국어를 쓰는 입장에서는 자신이 어느 쪽인지 궁금해질 만하다. 그런데 이 비율은 모델과 토크나이저마다 다르고 새 모델이 나올 때마다 바뀐다. 어느 자료에 적힌 숫자를 외우는 것보다, 쓰려는 모델의 토크나이저에 같은 뜻의 한국어 문장과 영어 문장을 각각 넣어 토큰 수를 직접 비교해보는 편이 정확하다. 재보는 데 몇 분이면 되고, 그 결과가 그 모델에서는 유일하게 믿을 만한 값이다.

토큰을 하나씩 뽑아 답을 만든다

토큰은 학습할 때만 쓰이는 단위가 아니다. 답을 만들어내는 방식 자체가 토큰 단위로 돌아간다.

완성된 모델은 지금까지의 텍스트를 받아 다음 토큰의 확률 분포 를 계산하고, 거기서 하나를 뽑고, 그것을 입력 끝에 붙여 다시 계산한다. 답이 끝날 때까지 이 과정을 반복한다. 한 번에 문장을 통째로 내놓는 것이 아니라 조각을 하나씩 이어붙이는 것이다.

그래서 답이 길수록 계산이 그만큼 반복되고, 비용과 시간도 길이에 비례해 늘어난다.

무엇을 잘하고 무엇을 못하는가

이 구조에서 강점과 약점이 함께 나온다. 둘은 같은 뿌리다.

잘하는 것 — 텍스트로 표현할 수 있고 정답이 하나가 아닌 일. 초안 쓰기, 요약, 번역, 형식 바꾸기, 아이디어 내기. 방대한 텍스트에서 배운 패턴이 그대로 쓰이는 영역이다.

못하는 것 — 정확한 계산, 글자 수 세기, 최신 정보 조회, 그리고 훈련 데이터에 없던 사실을 답하는 일. 마지막이 특히 중요하다. 모델은 그럴듯한 것을 만들도록 훈련됐지 맞는 것을 찾도록 훈련되지 않았다. 그래서 모르는 것에 대해서도 그럴듯한 답을 내놓는다.

이 약점들에 대응하는 방식이 실무에서 자리를 잡았다. 계산은 계산기를 붙이고, 최신 정보는 검색해서 입력에 넣어주고, 정확성이 중요한 일에는 사람의 검증을 붙인다. 약점을 모델 안에서 고치는 대신 바깥에서 보완하는 쪽이 현재의 표준이다.

언어에서 시작했지만 언어에 머물지 않는다

마지막으로 위치를 정리해둘 필요가 있다. 대규모 언어 모델은 파운데이션 모델 이라 불리는 더 넓은 범주의 한 갈래다. 광범위한 데이터로 미리 훈련해두고 여러 과제에 적응시켜 쓰는 모델들을 묶는 이름인데, 언어 모델은 그중 언어를 다루는 쪽이다.

그런데 이 경계가 흐려지고 있다. 텍스트-투-텍스트라는 발상이 통했던 이유는 과제를 하나의 연속된 조각들로 표현할 수 있다는 데 있었는데, 이미지도 소리도 조각으로 자를 수 있기 때문이다. 그래서 같은 구조로 이미지와 소리를 함께 다루는 방향으로 확장되고 있다.

언어가 특별했던 것은 언어 자체가 아니라, 언어가 가장 먼저 그 조건을 갖추고 있었기 때문이다.

흔한 오해

"대규모 언어 모델은 말을 이해한다." 다음 토큰의 확률을 계산한다. 그 계산이 이해에 해당하는지는 열린 질문이며, 최소한 이 모델이 하는 일을 서술할 때 필요한 개념은 아니다.

"글자를 보고 답한다." 모델이 다루는 단위는 토큰이지 글자가 아니다. 그래서 특정 글자가 몇 개 들어 있는지 세는 것 같은 과제에 의외로 약하다.

"파라미터가 많은 모델이 더 좋은 모델이다." 2022년 연구에서 70B 모델이 데이터를 네 배 늘려 훈련한 결과 280B·175B·178B·530B 모델을 앞섰다. 같은 크기라도 얼마나 많은 데이터로 훈련했는지가 함께 작용한다.

"파라미터가 몇 개 이상이면 대규모다." 합의된 기준선이 없고, 있다 해도 금방 낡는다. 대규모라 불리던 크기가 몇 년 뒤에 작은 축에 드는 일이 반복되어 왔다.

"스케일링 법칙은 확립된 법칙이다." 관찰된 경향이지 물리 법칙이 아니다. 2020년의 결론 중 연산 예산 배분에 관한 부분은 2022년에 수정되었다.

"영어든 한국어든 비용은 같다." 대부분의 상용 API는 토큰 수로 요금을 매기는데, 같은 내용이라도 언어에 따라 토큰 수가 다르다. 22개 언어를 분석한 2023년 연구는 상당수 언어의 사용자가 더 많이 지불하면서 더 나쁜 결과를 얻는다고 보고했다.

"언어 모델이니 언어만 다룬다." 텍스트 기반 과제 전체를 텍스트 입출력으로 통일할 수 있다는 것이 이 방식의 출발점이었고, 지금은 이미지와 소리까지 함께 다루는 방향으로 확장되고 있다.

"모델이 지시를 이해하고 따른다." 지시문까지 포함한 텍스트 뒤에 이어질 법한 것을 계산한다. 결과적으로 지시를 따른 것처럼 보이지만, 별도의 명령 처리 장치가 있는 것이 아니다.

"챗봇의 말투는 원래 그 모델의 성격이다." 사전학습만 마친 모델은 지시를 따르는 데 서툴다. 우리가 겪는 말투와 태도는 대부분 그 뒤의 사후학습 단계에서 만들어진 것이다.

확인한 자료

• Kaplan, J., McCandlish, S., Henighan, T. et al., Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020 — 교차 엔트로피 손실이 모델 크기·데이터셋 크기·연산량 각각에 대해 거듭제곱 법칙으로 감소하며 일부 경향이 일곱 자릿수 이상에 걸친다는 결과, 너비나 깊이 같은 구조적 세부는 넓은 범위에서 영향이 미미하다는 관찰, 고정된 연산 예산의 최적 배분을 결정할 수 있다는 서술, 그리고 큰 모델이 표본 효율이 훨씬 좋아 매우 큰 모델을 상대적으로 적은 데이터로 훈련시키고 수렴 훨씬 전에 멈추는 것이 연산 효율 면에서 최적이라는 결론.

• Hoffmann, J., Borgeaud, S., Mensch, A. et al., Training Compute-Optimal Large Language Models, arXiv:2203.15556, 2022 — 당시의 대규모 언어 모델들이 심각하게 덜 훈련되어 있으며 이것이 데이터 양을 고정한 채 모델만 키운 결과라는 지적, 7천만160억 파라미터 400개 이상의 모델을 50억5천억 토큰으로 훈련한 실험, 연산 최적을 위해 모델 크기와 훈련 토큰 수를 같은 비율로 키워야 하며 모델을 두 배로 하면 토큰도 두 배로 해야 한다는 결론, 그리고 70B 파라미터에 데이터 네 배인 친칠라가 280B·175B·178B·530B 모델을 광범위한 하위 과제에서 앞섰다는 결과.

• Raffel, C., Shazeer, N., Roberts, A. et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Journal of Machine Learning Research 21(140), 2020 — 텍스트 기반의 모든 언어 문제를 텍스트-투-텍스트 형식으로 변환하는 통일된 틀을 제안한 대목, 번역·질의응답·분류를 포함해 다루는 모든 과제를 텍스트 입력과 목표 텍스트 생성으로 다룬다는 서술, 그리고 이 방식이 다양한 과제 전체에 같은 모델·같은 손실 함수·같은 하이퍼파라미터를 쓸 수 있게 한다는 설명.

• Ahia, O., Kumar, S., Gonen, H. et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models, Proceedings of EMNLP 2023, 9904–9923 — API 요금이 처리·생성된 토큰 수로 매겨지는데 같은 정보를 전달하는 데 필요한 토큰 수가 언어마다 크게 다르다는 문제 설정, 22개의 유형론적으로 다양한 언어에 대한 비용과 효용의 체계적 분석, 지원 언어 중 상당수의 사용자가 더 많이 지불하면서 더 나쁜 결과를 얻는다는 증거, 그리고 그런 사용자들이 애초에 API를 감당하기 더 어려운 지역 출신인 경향이 있다는 지적.