멀티모달 AI란 무엇인가

멀티모달 AI란 무엇인가

멀티모달 AI는 텍스트·이미지·소리·영상처럼 서로 다른 종류의 데이터를 함께 다루는 AI다.

모달리티(modality) 는 정보가 전달되는 형태를 뜻한다. 글은 글이고 사진은 사진이고 소리는 소리다. 하나만 다루면 단일 모달, 둘 이상을 함께 다루면 멀티모달이다.

사진을 올려놓고 "이게 뭐야"라고 묻는 것, 문장을 써서 그림을 만드는 것, 영상을 요약하게 하는 것이 전부 멀티모달이다.

용어 주의 — 한국어에서 '멀티모달'은 그대로 쓰이는 경우가 대부분이지만 다중 모달, 다중 양식이라는 번역도 있다. 그리고 사용자 인터페이스 분야에서는 오래전부터 터치·음성·시선 등 여러 입력 수단을 함께 쓰는 것을 멀티모달이라 불러왔다. 같은 말이지만 가리키는 대상이 다르므로 자료를 읽을 때 어느 쪽인지 확인해야 한다.

여기서 질문이 생긴다. 글과 사진은 애초에 다른 것인데 어떻게 하나의 모델이 둘 다 다루는가. 이 글의 답은 두 문장이다.

조각으로 자를 수 있으면 무엇이든 같은 방식으로 다룰 수 있다. 다만 같은 공간에 넣는다고 같은 것이 되지는 않는다.

앞 문장이 멀티모달을 가능하게 했고, 뒤 문장이 그 한계다. 아래에서 차례로 본다.

왜 가능해졌는가 — 무엇이든 조각으로 자를 수 있다

언어 모델이 다루는 단위는 글자도 단어도 아닌 토큰 이다. 텍스트를 잘게 자른 조각이고, 모델은 그 조각들의 나열을 입력으로 받는다.

여기서 결정적인 발상이 나왔다. 이미지도 조각으로 자르면 되지 않는가.

2020년의 한 연구가 정확히 그것을 했다. 제목부터가 "이미지는 16×16 단어의 가치가 있다"였다. 이 연구는 이미지를 격자로 잘라 작은 패치들의 나열로 만들었고, 그 패치들을 자연어 처리에서의 토큰(단어)과 똑같은 방식으로 취급했다.

그러니까 순서가 이렇게 된다. 사진을 바둑판처럼 잘라서 조각을 만들고, 조각들을 왼쪽 위부터 순서대로 늘어놓고, 그것을 트랜스포머 에 그대로 넣는다. 글을 넣던 자리에 사진 조각을 넣는 것이다. 이렇게 만든 모델을 비전 트랜스포머(ViT, Vision Transformer) 라 부른다.

같은 연구는 이 방식이 얼마나 통하는지도 보였다. 당시 이미지 처리의 표준은 합성곱 신경망이었는데, 합성곱에 의존할 필요가 없으며 이미지 패치의 나열에 순수한 트랜스포머를 그대로 적용해도 잘 작동한다는 것이다.

다만 조건이 있었다. 중간 규모 데이터로 훈련하면 비슷한 크기의 기존 모델보다 몇 퍼센트 낮은 성적이 나왔다. 트랜스포머에는 합성곱이 가진 이미지 특유의 전제들이 없기 때문이다. 그런데 1400만에서 3억 장 규모로 훈련하면 상황이 바뀌었다. 이 연구가 그 결과를 요약한 문장이 인상적이다.

대규모 훈련이 귀납 편향을 이긴다.

이미지에 대한 사전 지식을 구조에 심어 넣는 것보다, 아무 전제 없는 구조에 데이터를 많이 주는 쪽이 낫더라는 뜻이다.

용어 주의 — 제목의 16×16은 패치 하나의 크기를 픽셀로 나타낸 예시일 뿐 고정된 값이 아니다. 모델에 따라 다르게 자른다.

그래서 소리도 영상도 들어온다

이 발상이 이미지에만 통할 이유가 없다. 소리는 시간 축으로 자르면 되고, 영상은 프레임으로 자른 다음 각 프레임을 다시 조각내면 된다.

무엇이든 조각으로 자르고 그 조각을 숫자로 바꿀 수 있다면, 같은 구조에 넣을 수 있다. 멀티모달이 가능해진 기술적 이유가 이것이다. 모달리티마다 전용 구조를 만드는 대신, 자르는 방법만 다르게 하고 그다음은 같은 구조로 처리한다.

어떻게 잇는가 — 짝을 맞히게 한다

조각으로 자르는 것까지는 됐다. 그런데 사진 조각과 글 조각이 같은 구조에 들어간다고 해서 서로 관계를 아는 것은 아니다. "고양이"라는 단어와 고양이 사진이 서로 연결되어 있다는 것을 모델이 어떻게 아는가.

2021년의 한 연구가 이 문제를 풀었다. 방법은 놀랄 만큼 단순하다. 어떤 캡션이 어떤 이미지와 짝인지 맞히게 하는 것이다.

인터넷에는 사진과 그 사진을 설명하는 글이 함께 있는 경우가 무수히 많다. 이 연구는 그런 4억 쌍의 이미지-텍스트를 모았다. 그리고 이미지를 처리하는 부분과 텍스트를 처리하는 부분을 각각 두고, 짝인 것끼리는 가까워지고 짝이 아닌 것끼리는 멀어지도록 함께 훈련시켰다. 이 방식으로 만든 모델을 CLIP이라 부른다.

여기서 중요한 것은 정답을 사람이 붙이지 않았다는 점이다. 사진 옆에 이미 적혀 있던 설명을 그대로 썼다. 자기지도학습 이 언어에서 통했던 것과 같은 이치가 이미지-텍스트 쌍에서도 통한 것이다.

무엇이 달라졌는가

같은 연구가 지적한 기존 방식의 한계가 이 전환을 설명한다. 그때까지 최고 수준의 컴퓨터 비전 시스템은 미리 정해진 고정된 범주 집합을 예측하도록 훈련되었다. 이 제한된 형태의 지도는 일반성과 사용성을 제약했는데, 다른 시각 개념을 지정하려면 그때마다 추가 레이블 데이터가 필요했기 때문이다.

고양이와 개를 구분하도록 만든 모델은 딱 그것만 한다. 여우를 구분하게 하려면 여우 사진을 모아 레이블을 붙이고 다시 훈련시켜야 한다.

짝 맞히기로 훈련한 모델은 다르다. 사전학습이 끝난 뒤에는 자연어로 시각 개념을 지목할 수 있다. "여우 사진"이라고 글로 쓰면 모델이 그것과 가까운 이미지를 찾아낸다. 여우를 따로 훈련시킨 적이 없어도 그렇다. 이렇게 훈련 없이 새 과제를 수행하는 것을 제로샷(zero-shot) 이라 한다.

같은 연구는 30개가 넘는 컴퓨터 비전 데이터셋으로 이를 확인했고, 결과 하나를 이렇게 적었다. ImageNet에서 원래 ResNet-50의 정확도를 제로샷으로 따라잡았는데, 그것이 훈련에 쓴 128만 개의 예시를 하나도 쓰지 않고서였다.

공유 표현 공간

여기서 만들어지는 것이 공유 표현 공간(shared representation space) 이다. 이미지도 텍스트도 같은 좌표계 안의 한 점으로 바뀌고, 뜻이 가까우면 점도 가까이 놓인다는 발상이다.

이 공간이 있으면 여러 가지가 가능해진다. 글로 이미지를 검색하는 것, 이미지에 어울리는 설명을 찾는 것, 그리고 글을 조건으로 이미지를 만들어내는 것까지 전부 같은 공간 위에서 일어난다.

모달리티 갭 — 그 공간은 실제로 공유되어 있지 않다

"같은 공간에 넣는다"는 설명을 들으면 이미지와 텍스트가 섞여서 하나의 지도를 이룰 것 같다. 실제로는 그렇지 않다.

2022년의 한 연구가 이것을 실측해 보고했다. 이 연구가 붙인 이름이 모달리티 갭(modality gap) 이다. 서로 다른 데이터 모달리티가 공유 표현 안에서 팔 길이만큼 떨어진 채로 박혀 있다는 것이다. 이미지 임베딩과 텍스트 임베딩이 뒤섞이는 것이 아니라 완전히 분리된 두 영역을 차지한다.

원인으로 이 연구가 지목한 것은 두 가지의 결합이다.

모델 초기화 — 일반적인 심층 신경망의 표현은 좁은 원뿔 모양에 갇힌다. 그런데 멀티모달 모델은 인코더가 두 개이고, 서로 다르게 초기화된 두 인코더는 서로 다른 원뿔을 만든다. 그래서 훈련을 시작하기도 전에 두 모달리티가 이미 떨어져 있다.

대조 학습 — 짝 맞히기 방식의 훈련은 그 거리를 없애지 않고 일정하게 유지한다.

이 연구는 이 현상이 특정 모델의 문제가 아니라는 것도 확인했다. 텍스트, 자연 이미지, 영상, 의료 영상, 아미노산 서열에 이르기까지 여러 모델에서 일관되게 나타났다.

더 이상한 발견

그런데 이 연구의 결론이 예상 밖이다. 갭을 없애는 것이 항상 좋은 것은 아니었다.

갭의 크기를 인위적으로 바꿔가며 실험한 결과, 그 거리가 제로샷 분류 성능과 공정성 양쪽에 상당한 영향을 미쳤다. 그리고 CLIP 같은 모델에서는 갭을 오히려 늘렸을 때 여러 제로샷 과제의 성능이 개선되는 경우가 있었다.

여기서 얻을 것은 두 가지다.

하나, "같은 공간"은 비유이지 사실 서술이 아니다. 좌표계를 공유한다는 뜻이지 뒤섞인다는 뜻이 아니다.

둘, 이 분야에서 직관적으로 좋아 보이는 것이 실제로 좋은지는 재봐야 안다. 두 모달리티를 완전히 겹치게 만드는 것이 목표처럼 보이지만, 재보니 그렇지 않았다.

무엇을 잘하고 무엇을 못하는가

잘하는 것 — 모달리티를 넘나드는 일. 글로 이미지를 찾고, 이미지에 어울리는 설명을 붙이고, 본 적 없는 범주를 자연어로 지목해 분류하는 일이 여기 속한다. 앞서 본 2021년 연구가 30개가 넘는 데이터셋에서 확인한 범위에는 글자 인식과 영상 속 동작 인식, 위치 추정 같은 과제들이 포함되어 있었다.

못하는 것 — 여기서는 조심해서 말해야 한다. 무엇을 못하는지는 모델마다 다르고 빠르게 바뀌는 부분이기 때문이다. 다만 구조에서 따라 나오는 성질 하나는 분명하다.

보지 않은 것을 봤다고 말하는 일이다. 사진에 없는 물체를 설명에 넣거나, 흐릿한 글자를 그럴듯하게 지어내는 경우가 있다. 이것은 환각 이라 불리는 현상이 이미지 쪽에서 나타난 형태이며, 원인도 같다. 모델은 그럴듯한 것을 내놓도록 훈련됐지 본 것만 말하도록 훈련되지 않았다.

실무적으로 중요한 함의가 여기 있다. 사진을 보고 답한 내용이라고 해서 그 사진에 근거한 것이라는 보장은 없다. 중요한 판단에는 사람이 원본을 함께 확인해야 한다.

그리고 무엇을 잘하고 못하는지 궁금하다면, 쓰려는 모델에 직접 넣어보는 것이 가장 확실하다. 같은 이미지를 여러 번 물어보고 답이 흔들리는지, 사진에 없는 것을 말하지는 않는지 확인해보면 그 모델의 한계가 드러난다.

어디에 놓이는가

멀티모달 모델은 파운데이션 모델 이라 불리는 범주 안에 있다. 광범위한 데이터로 미리 훈련해두고 여러 과제에 적응시켜 쓰는 모델들을 묶는 이름인데, 멀티모달은 그중 여러 종류의 데이터를 함께 다루는 쪽이다.

그리고 방향은 분명하다. 처음에는 언어만 다루는 모델과 이미지만 다루는 모델이 따로 있었고, 그다음에는 둘을 잇는 모델이 나왔고, 지금은 처음부터 여러 모달리티를 함께 학습하는 모델이 표준이 되어가고 있다.

이 흐름의 밑바닥에는 하나의 발견이 있다. 조각으로 자를 수 있으면 같은 방식으로 다룰 수 있다는 것. 언어가 먼저였던 것은 언어가 특별해서가 아니라 이미 조각으로 잘려 있었기 때문이고, 나머지는 자르는 방법을 찾아낸 순서대로 합류했다.

흔한 오해

"멀티모달은 여러 모델을 이어붙인 것이다." 음성을 글로 바꾸고 그 글을 언어 모델에 넣는 식으로 여러 모델을 잇는 방식도 있다. 그런데 지금 멀티모달이라 부르는 것은 대체로 하나의 모델이 여러 종류의 입력을 함께 처리하는 쪽이다. 중간에 한 모달리티로 변환하면 그 과정에서 정보가 떨어져 나간다.

"이미지를 이해하려면 이미지 전용 구조가 필요하다." 2020년 연구는 합성곱에 의존할 필요가 없으며 이미지 패치의 나열에 순수한 트랜스포머를 적용해도 잘 작동한다는 것을 보였다. 다만 그러려면 충분히 큰 규모의 훈련이 필요했다.

"같은 공간에 넣으면 이미지와 텍스트가 섞인다." 2022년 연구는 두 모달리티가 공유 표현 안에서 완전히 분리된 영역에 놓인다는 것을 보고했다. 좌표계를 공유한다는 뜻이지 뒤섞인다는 뜻이 아니다.

"모달리티 갭은 없애야 할 결함이다." 같은 연구에서 갭의 크기를 조절해본 결과, 오히려 늘렸을 때 제로샷 성능이 개선되는 경우가 있었다. 직관적으로 좋아 보이는 것이 실제로 좋은지는 재봐야 안다.

"사진을 보고 답했으니 사진에 있는 내용이다." 사진에 없는 물체를 설명에 넣거나 흐릿한 글자를 지어내는 경우가 있다. 모델은 그럴듯한 것을 내놓도록 훈련됐지 본 것만 말하도록 훈련되지 않았다.

"멀티모달이면 모든 모달리티를 똑같이 잘 다룬다." 학습 데이터가 모달리티마다 다르고, 이미지-텍스트 쌍처럼 인터넷에 풍부하게 쌓여 있는 조합과 그렇지 않은 조합의 차이가 크다. 어떤 조합을 얼마나 잘 다루는지는 그 모델이 무엇으로 훈련됐는지에 달려 있다.

"멀티모달은 최근에 나온 발상이다." 서로 다른 종류의 데이터를 함께 다루려는 시도는 오래전부터 있었다. 최근에 달라진 것은 발상이 아니라, 무엇이든 조각으로 잘라 같은 구조에 넣는 방식이 통한다는 것이 확인되면서 규모를 키울 수 있게 되었다는 점이다.

확인한 자료

• Dosovitskiy, A., Beyer, L., Kolesnikov, A. et al., An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, International Conference on Learning Representations (ICLR), 2021 / arXiv:2010.11929, 2020 — 합성곱에 대한 의존이 필요하지 않으며 이미지 패치의 나열에 순수한 트랜스포머를 직접 적용해도 이미지 분류에서 잘 작동한다는 결과, 이미지 패치를 자연어 처리에서의 토큰(단어)과 똑같은 방식으로 취급한다는 서술, 중간 규모 데이터에서는 비슷한 크기의 기존 모델보다 몇 퍼센트 낮지만 1400만~3억 장 규모에서는 상황이 바뀐다는 관찰, 그리고 대규모 훈련이 귀납 편향을 이긴다는 결론.

• Radford, A., Kim, J. W., Hallacy, C. et al., Learning Transferable Visual Models From Natural Language Supervision, Proceedings of the 38th International Conference on Machine Learning (ICML), 2021 / arXiv:2103.00020 — 최신 컴퓨터 비전 시스템이 미리 정해진 고정된 범주 집합을 예측하도록 훈련되며 이 제한된 지도가 일반성과 사용성을 제약하고 다른 시각 개념을 지정하려면 추가 레이블 데이터가 필요하다는 문제 설정, 어떤 캡션이 어떤 이미지와 짝인지 예측하는 단순한 사전학습 과제와 인터넷에서 수집한 4억 쌍의 이미지-텍스트, 사전학습 이후 자연어로 학습된 시각 개념을 지목해 하위 과제로의 제로샷 전이가 가능하다는 설명, 30개가 넘는 컴퓨터 비전 데이터셋에서의 벤치마크, 그리고 128만 개의 훈련 예시를 하나도 쓰지 않고 ImageNet에서 원래 ResNet-50의 정확도를 제로샷으로 따라잡았다는 결과.

• Liang, V. W., Zhang, Y., Kwon, Y., Yeung, S. & Zou, J. Y., Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning, Advances in Neural Information Processing Systems 35, 17612–17625, 2022 / arXiv:2203.02053 — CLIP 같은 멀티모달 모델에서 서로 다른 데이터 모달리티가 공유 표현 안에 팔 길이만큼 떨어진 채 임베딩된다는 모달리티 갭의 제시, 이 갭이 모델 초기화와 대조 학습 최적화의 결합으로 발생한다는 분석, 심층 신경망의 표현이 좁은 원뿔에 제한되며 두 인코더가 초기화 시점에 이미 분리된다는 이론적·실험적 설명, 대조 학습이 그 거리를 유지한다는 지적, 텍스트·자연 이미지·영상·의료 영상·아미노산 서열에 걸쳐 일관되게 관찰된다는 확인, 그리고 갭의 거리를 바꾸는 것이 제로샷 분류 성능과 공정성에 상당한 영향을 미치며 갭을 늘렸을 때 성능이 개선되는 경우가 있다는 결과.