AI는 언제 배우고 언제 답할까학습(Training)과 추론(Inference)의 차이

안녕하세요, DECHIVE입니다.

AI에게 “나는 설명이 짧은 게 좋아”라고 말했더니 다음 답변부터 짧게 말합니다. 이 모습을 보면 AI가 방금 내 취향을 학습했다고 느끼기 쉽습니다. 반대로 틀린 내용을 바로잡아줬는데 다음 대화에서 같은 실수를 하면 “왜 아직도 배우지 못했지?”라는 생각이 듭니다.

하지만 여기에는 서로 다른 일이 섞여 있습니다. 학습, 현재 대화의 문맥, 저장된 메모리, 그리고 추론입니다. 이 차이를 구분해야 AI가 무엇을 바꿨고 무엇을 그대로 사용했는지 정확히 볼 수 있습니다.

한 문장으로 먼저 답하면

학습(Training)은 모델 내부를 바꾸는 과정이고, 추론(Inference)은 그렇게 만들어진 모델을 사용해 지금의 입력에 대한 결과를 만드는 과정입니다.

구분할 때 가장 먼저 물어볼 것은 하나입니다.

지금 모델의 매개변수가 바뀌고 있는가?

바뀌고 있다면 학습에 가깝고, 이미 정해진 매개변수로 결과를 계산하고 있다면 추론에 가깝습니다.

학습은 모델 내부를 바꾸는 시간입니다

AI 모델 안에는 입력을 어떻게 처리할지 결정하는 수많은 수치가 있습니다. 이를 매개변수(Parameter)라고 부릅니다. 신경망에서 자주 말하는 가중치도 매개변수에 포함됩니다.

많은 머신러닝 모델은 학습할 때 다음 과정을 반복합니다.

1. 학습 데이터를 입력합니다.
2. 현재 모델이 결과를 예측하거나 생성합니다.
3. 그 결과가 학습 목표에 얼마나 맞는지 계산합니다.
4. 목표에 더 가까워지도록 매개변수를 조정합니다.
5. 조정된 모델로 다시 같은 과정을 반복합니다.

지도학습에서는 모델의 예측과 정답의 차이를 손실로 계산하는 방식이 흔합니다. 자기지도학습이나 강화학습처럼 학습 신호를 만드는 방식이 달라져도, 목표에 맞게 모델의 내부 값을 조정한다는 점은 같습니다.

그래서 학습의 결과물은 답변 한 개가 아닙니다. 새로운 매개변수를 가진 훈련된 모델 또는 새로운 모델 버전입니다.

다만 학습을 데이터를 통째로 서랍에 저장하는 일로 이해하면 곤란합니다. 모델은 학습 과정에서 데이터의 패턴과 관계를 매개변수에 반영합니다. 일부 내용을 재현할 가능성은 있지만, 일반적인 의미에서 학습 데이터 전체를 원문 그대로 보관한 검색창과 같지는 않습니다.

추론은 배운 모델을 사용하는 시간입니다

학습이 끝난 모델에 새로운 입력을 넣어 결과를 얻는 과정이 추론입니다.

사진 분류 모델에 처음 보는 사진을 넣어 종류를 예측하게 하는 것, 추천 모델이 사용자의 현재 행동을 보고 다음 콘텐츠를 고르는 것, 생성형 AI가 프롬프트를 받아 글이나 이미지를 만드는 것이 모두 추론에 해당합니다.

대규모 언어 모델이라면 사용자의 질문과 현재 대화에 포함된 문맥을 읽고, 학습된 매개변수를 이용해 다음에 올 내용을 계산하면서 답변을 만듭니다.

일반적인 추론에서는 이 계산을 위해 모델의 매개변수를 다시 조정하지 않습니다. 질문은 지금 결과를 만들기 위한 입력으로 사용되고, 모델 내부는 그대로 유지됩니다.

그래서 AI에 질문을 한 번 보냈다고 해서 그 질문이 즉시 모델 전체의 새로운 지식이 되는 것은 아닙니다.

같은 AI인데 왜 답이 달라질까

답이 달라졌다는 사실만으로 모델이 새로 학습했다고 판단할 수는 없습니다.

생성형 AI의 결과는 현재 질문의 표현, 앞선 대화, 시스템 지침, 검색된 자료, 연결된 도구, 생성 설정에 따라 달라질 수 있습니다. 확률적인 생성 방식을 사용하는 모델은 같은 조건에서도 완전히 같은 결과를 보장하지 않을 수 있습니다.

반대로 서비스 제공자가 모델을 새 버전으로 교체했다면 사용자는 학습 과정을 직접 보지 않았어도 결과 변화를 느낄 수 있습니다. 이때 학습은 이전에 별도의 환경에서 진행됐고, 사용자는 새롭게 배포된 모델로 추론을 요청한 것입니다.

즉, 답변이 바뀌었다는 것과 내 질문으로 방금 모델이 학습했다는 것은 같은 의미가 아닙니다.

방금 알려준 내용은 어디에 있는 걸까

사용자가 알려준 내용을 AI가 다음 답변에 반영한다고 해서 모두 같은 방식으로 기억하는 것은 아닙니다.

• 현재 대화 문맥 — 앞선 메시지가 현재 입력에 함께 제공된다 · 모델 학습: 아님
• 외부 메모리 — 저장된 정보가 다음 요청에 다시 불려온다 · 모델 학습: 그 자체로는 아님
• RAG — 관련 외부 문서를 검색해 현재 문맥에 추가한다 · 모델 학습: 일반적으로 아님
• 파인튜닝 — 특정 데이터로 모델 또는 학습 가능한 구성요소를 추가 조정한다 · 모델 학습: 맞음

현재 대화 문맥은 같은 대화 안에서 앞서 말한 내용을 다시 참고하게 합니다. 대화창을 벗어나면 유지되지 않을 수도 있습니다.

외부 메모리는 사용자 선호나 이전 기록을 별도로 저장했다가 다음 요청에 다시 넣는 방식일 수 있습니다. AI가 기억하는 것처럼 보이지만, 저장소의 정보가 추론 입력에 추가된 것입니다.

RAG(검색 증강 생성)는 질문과 관련된 문서나 데이터를 외부에서 찾은 뒤, 검색 결과를 현재 프롬프트에 더해 답변을 생성합니다. 새로운 자료를 참고하게 할 수 있지만 일반적인 RAG는 모델의 매개변수를 바꾸지 않습니다.

파인튜닝(Fine-tuning)은 이미 학습된 모델을 특정 작업이나 분야에 맞게 추가로 훈련합니다. 모델 전체 또는 일부 매개변수, 혹은 별도로 붙인 학습 가능한 구성요소를 조정하므로 학습에 속합니다.

이 차이는 실용적입니다. 최신 사내 문서를 바꿀 때마다 모델을 다시 훈련할 필요는 없습니다. RAG로 최신 문서를 찾아 제공하는 편이 적절할 수 있습니다.

반면 답변의 형식이나 특정 작업 수행 방식 자체를 안정적으로 바꾸려면 파인튜닝이 후보가 될 수 있습니다.

그러면 내 대화는 학습에 전혀 쓰이지 않을까

현재 답변을 만드는 추론과 서비스가 입력을 저장하거나 나중에 모델 개선에 사용하는 정책은 별개의 문제입니다.

질문에 답하는 순간 매개변수가 바뀌지 않더라도, 서비스가 대화 내용을 보관하거나 일정 조건 아래 향후 학습·평가 데이터로 사용할 수는 있습니다. 반대로 제품과 요금제, 사용자의 데이터 설정, 계약 조건에 따라 학습에 사용하지 않을 수도 있습니다.

따라서 개인정보나 업무 문서를 입력할 때는 “지금 즉시 학습하는가?”만 확인하면 부족합니다. 해당 서비스의 최신 데이터 이용 정책과 보관 설정도 함께 확인해야 합니다.

온라인 학습은 예외일까

새 데이터가 들어올 때마다 또는 짧은 주기로 모델을 갱신하는 동적 훈련·온라인 훈련도 있습니다. 반대로 모델을 한 번 훈련한 뒤 일정 기간 같은 버전을 사용하는 방식은 정적 훈련·오프라인 훈련이라고 부릅니다.

온라인 학습 시스템에서는 사용자의 행동이나 새 데이터가 비교적 빠르게 다음 모델 업데이트에 반영될 수 있습니다. 그렇더라도 개념적 구분은 남습니다.

• 새 데이터로 매개변수를 갱신하는 순간은 학습입니다.
• 특정 시점의 매개변수로 결과를 만드는 순간은 추론입니다.

두 과정이 자주 번갈아 일어날 수는 있지만, 같은 계산은 아닙니다. 온라인 학습이라고 해서 모든 입력이 검토 없이 즉시 모델에 반영된다는 뜻도 아닙니다.

‘추론’은 논리적으로 생각한다는 뜻일까

일상에서 추론은 근거를 바탕으로 결론을 도출하는 사고를 뜻합니다. 하지만 머신러닝 시스템에서 inference는 더 넓게 사용됩니다.

이미 학습된 모델을 실행해 분류, 점수, 추천, 이미지, 문장 같은 출력을 얻는 과정 전체를 추론이라고 부를 수 있습니다.

따라서 “추론 서버가 답을 생성했다”는 말이 곧 “모델이 사람처럼 논리적으로 생각했다”는 뜻은 아닙니다.

AI의 논리적 문제 해결 능력을 말할 때의 ‘추론’과, 학습된 모델을 실행하는 단계로서의 ‘추론’을 문맥에 따라 구분해야 합니다.

무엇을 고쳐야 하는지도 달라집니다

학습과 추론을 구분하면 AI 결과가 좋지 않을 때 무엇을 점검해야 하는지가 보입니다.

여러 상황에서 반복적으로 같은 유형의 오류가 나온다면 학습 데이터, 학습 목표, 모델 구조, 파인튜닝 또는 모델 자체의 한계를 살펴봐야 할 수 있습니다.

반대로 특정 질문에서만 필요한 사실을 놓쳤다면 프롬프트, 현재 대화 문맥, 검색 결과, 연결된 문서와 도구를 먼저 확인하는 편이 적절합니다.

AI가 내 취향을 기억하는 것처럼 보인다면 모델이 나를 새로 학습했는지 단정하기 전에, 대화 기록이나 외부 메모리가 다시 제공됐는지 확인해야 합니다.

DECHIVE에서는 이렇게 기억하면 충분합니다.

학습은 모델 내부를 바꾸고, 추론은 그 모델로 지금의 결과를 만듭니다.

AI가 이상한 답을 냈을 때도 “더 학습시키면 된다”고 바로 결론 내리지 마세요.

지금 바꿔야 하는 것은 모델 자체일까요, 아니면 모델이 답할 때 받는 정보일까요?

확인한 자료

1. Google — Machine Learning Glossary: ML Fundamentals
2. Google — Machine Learning Glossary: Generative AI
3. NIST — Training Stage
4. NIST — Fine-tuning
5. Google — 정적 학습과 동적 학습 비교
6. AWS — Understanding Retrieval Augmented Generation
7. scikit-learn — Developing estimators