딥러닝이란 무엇인가머신러닝과 무엇이 다르고 왜 강력한가

안녕하세요, DECHIVE입니다.

사진 앱은 수천 장의 사진에서 사람과 동물을 구분하고, 음성 비서는 말소리를 문자로 바꾸며, 생성형 AI는 질문에 맞는 문장과 이미지를 만듭니다.

컴퓨터가 처음부터 고양이의 귀와 사람의 목소리, 문장의 의미를 알고 있었던 것은 아닙니다. 컴퓨터가 받는 입력은 픽셀값이나 음성 파형, 토큰처럼 숫자로 표현된 데이터입니다.

그렇다면 딥러닝은 이 숫자들에서 어떻게 복잡한 대상을 구분할까요? 그리고 이미 머신러닝이 있는데 왜 딥러닝이라는 이름을 따로 사용할까요?

이번 글에서 답하려는 질문은 이것입니다.

딥러닝은 머신러닝과 정확히 무엇이 다르며, 여러 층의 신경망은 왜 이미지·음성·언어처럼 복잡한 데이터를 잘 다룰 수 있을까요?

딥러닝을 한 문장으로 설명한다면

딥러닝은 다음과 같이 정리할 수 있습니다.

딥러닝은 여러 처리 층으로 이루어진 인공신경망을 학습시켜, 데이터에서 작업에 유용한 표현을 단계적으로 찾도록 하는 머신러닝의 한 방식입니다.

핵심은 세 가지입니다.

• 딥러닝은 머신러닝의 일부입니다.
• 주로 여러 층을 가진 인공신경망을 사용합니다.
• 정답만 맞히는 것이 아니라 정답을 만드는 데 유용한 표현(Representation)도 데이터에서 함께 학습합니다.

LeCun, Bengio, Hinton의 2015년 Nature 리뷰는 딥러닝을 여러 처리 층을 가진 계산 모델이 데이터의 여러 수준의 표현을 학습하도록 하는 방법으로 설명합니다.

따라서 인공지능, 머신러닝, 딥러닝의 관계는 서로 나란히 놓인 세 기술이라기보다 포함 관계에 가깝습니다.

• 인공지능: 지각·예측·언어 처리·의사결정처럼 지능과 관련된 작업을 수행하도록 만드는 넓은 분야
• 머신러닝: 데이터로 모델을 훈련하는 AI의 주요 접근법
• 딥러닝: 여러 층의 신경망을 사용하는 머신러닝의 한 접근법

모든 딥러닝은 머신러닝에 포함되지만 모든 머신러닝이 딥러닝인 것은 아닙니다.

선형회귀, 의사결정나무, 랜덤 포리스트, 서포트 벡터 머신처럼 신경망을 사용하지 않는 머신러닝 방법도 많습니다.

‘딥’하다는 것은 무엇이 깊다는 뜻일까요?

딥러닝의 딥(Deep)은 모델이 사람보다 더 깊게 생각한다는 뜻이 아닙니다.

입력과 출력 사이에 데이터가 거치는 계산 단계, 즉 층(Layer)이 여러 개 있다는 뜻입니다.

가장 단순하게 보면 신경망은 다음과 같이 구성됩니다.

• 입력층: 이미지의 픽셀, 문장의 토큰, 음성의 수치 표현 등을 받습니다.
• 은닉층: 입력을 가중치와 활성화 함수로 변환합니다.
• 출력층: 분류 결과, 예측값, 다음 토큰의 확률 같은 결과를 만듭니다.

입력층과 출력층 사이에 놓인 층을 은닉층(Hidden Layer)이라고 부릅니다. 층이 이어질수록 앞 층이 만든 표현을 다음 층이 다시 조합할 수 있습니다.

다만 “은닉층이 정확히 몇 개여야 딥러닝인가”에 대해 모든 분야가 공유하는 하나의 숫자는 없습니다. 시대와 모델 구조에 따라 ‘깊다’고 부르는 기준도 달라집니다.

그래서 딥러닝을 이해할 때는 층의 개수만 세기보다, 여러 단계의 변환을 통해 표현을 학습하는 신경망이라는 점을 보는 편이 정확합니다.

또한 신경망을 사용한다고 해서 모두 딥러닝이라고 부르는 것도 아닙니다. 은닉층이 없거나 매우 얕은 신경망은 일반적으로 심층신경망과 구분합니다.

인공신경망의 한 노드에서는 무엇이 일어날까요?

‘신경망’이라는 이름 때문에 사람의 뇌를 그대로 컴퓨터 안에 복제한 구조를 떠올리기 쉽습니다.

하지만 인공신경망의 뉴런 또는 노드는 생물학적 뉴런을 단순화해 이름을 빌린 수학적 계산 단위입니다.

하나의 노드는 앞 층에서 여러 값을 받아 대체로 다음과 같은 일을 합니다.

1. 각각의 입력에 가중치(Weight)를 곱합니다.
2. 그 값을 더하고 편향(Bias)을 더합니다.
3. 결과를 활성화 함수(Activation Function)에 통과시킵니다.
4. 계산된 값을 다음 층으로 보냅니다.

가중치는 어떤 입력을 얼마나 중요하게 반영할지 조정하는 값입니다. 편향은 결과를 이동시키는 조정값이고, 활성화 함수는 단순한 선형 계산만 반복하지 않도록 비선형성을 더합니다.

Google의 신경망 교육 자료도 은닉층의 각 노드가 이전 층의 입력과 고유한 가중치의 곱을 더하고 편향을 추가해 값을 계산한다고 설명합니다. 활성화 함수가 더해지면 신경망은 단순한 직선 관계만이 아니라 더 복잡한 비선형 관계를 표현할 수 있습니다.

여기서 중요한 점은 뉴런 하나가 지능을 갖는 것이 아니라는 사실입니다.

수많은 노드와 층, 가중치가 연결되고 그 값들이 데이터에 맞게 조정되면서 전체 모델이 복잡한 입력과 출력의 관계를 나타냅니다.

여러 층은 입력을 다른 표현으로 바꿉니다

딥러닝이 강력한 이유를 이해하려면 표현학습(Representation Learning)을 알아야 합니다.

같은 정보라도 어떻게 표현하느냐에 따라 문제의 난이도는 크게 달라집니다.

사진 속 고양이를 구분한다고 가정해보겠습니다. 컴퓨터가 처음 받는 것은 ‘고양이’라는 개념이 아니라 수많은 픽셀의 밝기와 색상 값입니다.

이미지 분류 신경망을 직관적으로 설명하면 다음과 같이 볼 수 있습니다.

• 앞쪽 층은 선, 방향, 색의 변화처럼 비교적 단순한 패턴에 반응할 수 있습니다.
• 중간 층은 앞쪽의 패턴을 조합해 질감이나 부분 형태를 나타낼 수 있습니다.
• 뒤쪽 층은 작업에 필요한 더 복합적인 표현을 만들 수 있습니다.
• 출력층은 그 표현을 바탕으로 고양이일 가능성을 계산합니다.

이 설명은 딥러닝의 흐름을 이해하기 위한 직관적 예시입니다.

실제 신경망의 각 층이 항상 ‘첫 번째 층은 선, 두 번째 층은 귀, 세 번째 층은 고양이’처럼 사람이 읽을 수 있는 역할로 깔끔하게 나뉘는 것은 아닙니다.

하나의 특징이 여러 노드와 층에 분산돼 나타날 수도 있고, 한 노드가 상황에 따라 여러 패턴에 반응할 수도 있습니다.

그래도 이 예시가 보여주는 핵심은 분명합니다.

딥러닝은 원래 입력을 그대로 사용하기만 하는 것이 아니라, 층을 거치며 현재 작업에 유용한 내부 표현으로 바꿉니다.

Deep Learning 교재도 좋은 표현은 뒤의 학습 작업을 더 쉽게 만들며, 지도학습으로 훈련된 순전파 신경망을 표현학습의 한 형태로 볼 수 있다고 설명합니다.

머신러닝과 딥러닝은 무엇이 다를까요?

둘은 경쟁하는 별개의 기술이 아닙니다. 딥러닝은 머신러닝 안에 포함됩니다.

차이는 주로 어떤 모델을 사용하고, 데이터의 특징을 어떻게 표현하느냐에서 나타납니다.

전통적인 머신러닝에서는 사람이 문제에 유용할 것으로 예상되는 특징을 정리하는 과정이 중요합니다.

예를 들어 사진을 분류한다면 색 분포, 가장자리의 방향, 특정 모양의 개수처럼 사람이 설계한 특징을 모델에 제공할 수 있습니다. 표 형태의 데이터라면 면적, 연령, 거래 횟수 같은 열을 선택하고 가공합니다.

딥러닝에서는 여러 층의 신경망이 학습 목표에 맞춰 이러한 내부 표현의 상당 부분을 데이터에서 함께 조정할 수 있습니다. 이를 흔히 특징을 자동으로 학습한다고 표현합니다.

하지만 이 말을 “사람이 아무것도 정하지 않는다”는 뜻으로 이해하면 안 됩니다.

사람은 여전히 다음을 정합니다.

• 어떤 문제를 풀 것인지
• 어떤 데이터를 사용할 것인지
• 정답이나 학습 목표를 어떻게 만들 것인지
• 어떤 신경망 구조를 사용할 것인지
• 손실 함수와 평가 기준을 무엇으로 할 것인지
• 모델의 결과를 어디까지 사용할 것인지

딥러닝은 사람의 설계를 없애는 기술이 아니라, 사람이 모든 특징과 판단 규칙을 손으로 작성하기 어려운 문제에서 표현과 예측을 함께 학습하게 해주는 방법에 가깝습니다.

딥러닝은 어떻게 학습할까요?

딥러닝의 훈련도 앞 글에서 살펴본 머신러닝의 기본 원리를 따릅니다.

모델이 결과를 만들고, 학습 목표와의 차이를 계산한 뒤, 그 차이가 줄어들도록 매개변수를 조정합니다.

다만 심층신경망에는 많은 층과 가중치가 있으므로, 각 가중치가 최종 오차에 얼마나 영향을 줬는지 효율적으로 계산해야 합니다.

대표적인 훈련 흐름은 다음과 같습니다.

1. 순전파로 결과를 계산합니다

입력 데이터가 첫 층에서 마지막 층까지 이동합니다.

이미지 분류라면 픽셀값이 여러 층의 계산을 거쳐 각 범주에 대한 점수나 확률로 바뀝니다. 이를 순전파(Forward Pass)라고 합니다.

2. 손실을 계산합니다

모델의 출력과 학습 목표 사이의 차이를 손실(Loss)로 나타냅니다.

고양이 사진을 강아지로 예측했다면 현재의 가중치가 학습 목표에 맞지 않는다는 뜻입니다.

3. 역전파로 영향을 계산합니다

역전파(Backpropagation)는 출력 쪽에서 시작해 앞쪽 층으로 거슬러 올라가며 각 가중치의 변화가 손실에 어떤 영향을 주는지 계산하는 방법입니다.

역전파가 스스로 목표를 정하거나 의미를 이해하는 것은 아닙니다. 이미 정해진 손실을 줄이기 위해 각 매개변수에 필요한 기울기를 효율적으로 전달합니다.

4. 최적화 알고리즘이 가중치를 조정합니다

경사하강법과 그 변형 같은 최적화 방법이 계산된 기울기를 이용해 가중치를 조금씩 바꿉니다.

그리고 다시 순전파, 손실 계산, 역전파, 가중치 조정을 반복합니다.

Google의 머신러닝 교육 자료는 역전파를 다층 신경망에서 경사하강법을 가능하게 하는 가장 일반적인 훈련 알고리즘으로 설명합니다.

동시에 깊은 신경망에서는 기울기 소실·기울기 폭발 같은 학습 문제가 생길 수 있다고 설명합니다.

딥러닝은 왜 강력할까요?

딥러닝이 강력한 이유를 단순히 “층이 많기 때문”이라고만 말하면 부족합니다.

깊은 구조, 비선형 계산, 학습 알고리즘, 데이터, 연산 자원, 적절한 모델 구조가 함께 작동하기 때문입니다.

복잡한 관계를 여러 단계로 조합할 수 있습니다

각 층은 앞 층이 만든 값을 다시 조합합니다.

이 구조 덕분에 단순한 패턴을 여러 번 합쳐 더 복합적인 관계를 표현할 수 있습니다. 한 번의 계산으로는 표현하기 어려운 함수를 여러 단계로 나누어 학습하는 셈입니다.

Google의 신경망 자료도 신경망을 데이터의 비선형 패턴을 자동으로 찾도록 설계된 모델 구조로 설명합니다.

표현과 예측을 함께 학습할 수 있습니다

이미지, 음성, 문장처럼 원시 입력에 가까운 데이터는 사람이 모든 유용한 특징을 미리 설계하기 어렵습니다.

딥러닝은 입력을 작업에 유용한 내부 표현으로 바꾸는 과정과 최종 예측을 함께 최적화할 수 있습니다. 이 방식을 종단 간 학습(End-to-End Learning)이라고 설명하기도 합니다.

다만 종단 간 학습도 데이터 수집과 전처리, 모델 구조, 학습 목표를 없애는 것은 아닙니다. 시스템의 더 많은 부분을 하나의 목표에 맞춰 함께 조정할 수 있다는 뜻에 가깝습니다.

데이터와 연산 자원의 규모를 활용할 수 있습니다

큰 신경망은 많은 매개변수를 이용해 복잡한 관계를 표현할 수 있습니다. 충분히 관련성 있는 데이터와 연산 자원이 있을 때 성능이 계속 좋아지는 경우도 있습니다.

2012년 ImageNet 연구에서는 130만 장의 고해상도 이미지를 1,000개 범주로 분류하기 위해 대규모 심층 합성곱신경망을 훈련했고, 당시 기존 결과보다 크게 개선된 성능을 보고했습니다.

이 연구는 GPU를 이용한 대규모 딥러닝이 컴퓨터 비전에서 주목받는 계기 가운데 하나였습니다.

하지만 데이터와 모델이 커지면 무조건 좋은 것은 아닙니다. 데이터의 품질, 대표성, 목표의 적절성, 평가 방식이 함께 맞아야 합니다.

한 번 배운 표현을 다른 작업에 활용할 수 있습니다

큰 데이터로 먼저 학습한 모델의 일부를 새로운 문제에 가져와 다시 조정할 수 있습니다. 이를 전이학습(Transfer Learning)이라고 합니다.

예를 들어 대규모 이미지 데이터로 훈련된 신경망이 만든 시각 표현을 이용해, 비교적 적은 개미와 벌 사진으로 새로운 분류기를 만들 수 있습니다.

PyTorch의 공식 전이학습 튜토리얼도 충분히 큰 데이터셋을 직접 확보하기 어려운 경우가 많아, 대규모 데이터로 미리 훈련한 합성곱신경망을 초기값이나 고정된 특징 추출기로 사용하는 방식이 일반적이라고 설명합니다.

오늘날 언어 모델에서도 대량의 텍스트로 기본 모델을 먼저 훈련하고, 특정 목적에 맞게 추가 훈련하거나 조정하는 구조를 볼 수 있습니다.

같은 딥러닝이라도 구조는 다릅니다

딥러닝은 하나의 알고리즘 이름이 아닙니다.

데이터의 성격과 목표에 따라 서로 다른 신경망 구조가 사용됩니다.

합성곱신경망

합성곱신경망(Convolutional Neural Network, CNN)은 이미지처럼 가까운 위치의 정보가 중요한 데이터에서 널리 사용돼 왔습니다.

작은 필터를 여러 위치에 적용하며 패턴을 찾기 때문에 선, 질감, 형태 같은 공간적 특징을 다루는 데 적합합니다. 이미지 분류, 물체 탐지, 영상 처리 등에 사용됩니다.

순환신경망

순환신경망(Recurrent Neural Network, RNN)은 이전 단계의 정보를 다음 단계에 전달하는 구조를 이용해 문장이나 음성처럼 순서가 있는 데이터를 처리해 왔습니다.

긴 범위의 관계를 학습하기 어렵거나 계산을 병렬화하기 어려운 한계가 있어 많은 언어 작업에서는 트랜스포머가 중심 구조가 됐습니다. 그렇다고 모든 순차 데이터 문제에서 RNN이 사라졌다는 뜻은 아닙니다.

트랜스포머

트랜스포머(Transformer)는 어텐션 메커니즘을 중심으로 입력 요소 사이의 관계를 계산하는 신경망 구조입니다.

2017년 Attention Is All You Need 논문은 순환이나 합성곱 없이 어텐션을 중심으로 구성한 트랜스포머를 제안했고, 번역 작업에서 품질과 병렬화 가능성을 보여줬습니다.

오늘날 대규모 언어 모델과 여러 생성형 AI가 트랜스포머 계열의 심층신경망을 사용합니다.

이 때문에 딥러닝과 생성형 AI를 같은 말처럼 느끼기 쉽지만 두 용어의 범위는 다릅니다.

• 딥러닝은 여러 층의 신경망을 학습하는 기술적 접근법입니다.
• 생성형 AI는 문장·이미지·음성·영상처럼 새로운 콘텐츠를 만드는 시스템이나 모델의 범주입니다.
• 생성형 AI는 딥러닝을 사용할 수 있지만 딥러닝의 모든 목적이 콘텐츠 생성인 것은 아닙니다.

딥러닝이 항상 더 좋은 선택은 아닙니다

딥러닝이 복잡한 문제에서 뛰어난 결과를 만들 수 있다고 해서 모든 문제의 정답은 아닙니다.

다음과 같은 경우에는 더 단순한 머신러닝이나 일반 프로그램이 나을 수 있습니다.

• 데이터가 적고 표 형태로 정리돼 있습니다.
• 결과가 나오는 규칙을 사람이 쉽게 설명해야 합니다.
• 빠른 CPU 추론과 낮은 운영 비용이 중요합니다.
• 정답을 만드는 규칙이 명확하고 거의 바뀌지 않습니다.
• 신경망을 훈련하고 운영하는 비용보다 단순한 기준의 효과가 충분히 큽니다.

Google의 의사결정 포리스트 자료는 표 형태의 데이터에서 의사결정 포리스트가 강력한 기본 선택이 될 수 있고, 작은 데이터에서도 표본 효율이 높으며 신경망보다 추론이 빠를 수 있다고 설명합니다.

반면 이미지나 텍스트 같은 비정형 데이터는 일반적으로 신경망이 더 잘 다룬다고 정리합니다.

좋은 모델을 고르는 기준은 가장 최신이거나 가장 큰 모델인가가 아닙니다.

문제와 데이터, 비용, 설명 가능성, 필요한 정확도에 가장 잘 맞는가가 기준이 돼야 합니다.

강력함에는 비용과 한계가 따라옵니다

딥러닝의 강점은 한계와 함께 봐야 합니다.

많은 연산과 자원이 필요할 수 있습니다

모델이 커질수록 훈련에 필요한 GPU·메모리·시간·전력이 늘어날 수 있습니다. 추론 비용과 응답 속도도 운영 환경에 영향을 줍니다.

모든 딥러닝 모델이 거대한 것은 아니지만, 큰 모델의 성능만 보고 실제 서비스 비용을 놓치면 지속적으로 운영하기 어렵습니다.

데이터의 문제도 함께 학습합니다

훈련 데이터에 편향, 잘못된 정답, 빠진 사례가 있으면 모델의 내부 표현에도 그 흔적이 남을 수 있습니다.

딥러닝이 특징을 학습한다고 해서 데이터의 의미와 사회적 맥락을 스스로 올바르게 판단하는 것은 아닙니다.

새로운 환경에서 성능이 달라질 수 있습니다

훈련할 때의 데이터와 실제 사용할 때의 데이터 분포가 달라지면 성능이 떨어질 수 있습니다.

밝은 환경의 사진만 학습한 모델이 어두운 장소에서 실패하거나, 과거 언어 표현으로 훈련된 모델이 새롭게 등장한 표현을 잘못 처리할 수 있습니다.

내부 판단을 설명하기 어려울 수 있습니다

복잡한 신경망의 결과가 어떤 가중치와 내부 표현의 조합으로 만들어졌는지 사람이 완전히 이해하기 어려울 수 있습니다.

NIST는 설명 가능성을 신뢰할 수 있는 AI의 중요한 특성으로 다루며, 딥러닝 같은 복잡한 모델에서는 결과를 설명하고 해석하는 문제가 별도의 관리 대상이 된다고 설명합니다.

높은 성능이 항상 이해를 뜻하지는 않습니다

모델이 사진을 정확히 분류하고 자연스러운 문장을 만든다는 사실만으로 사람과 같은 방식으로 사물의 의미를 이해하거나 의식을 가졌다고 결론 내릴 수는 없습니다.

딥러닝 모델의 능력은 어떤 데이터와 목표로 훈련했고 어떤 조건에서 평가했는지를 함께 봐야 합니다.

흔한 오해

“딥러닝은 사람의 뇌를 그대로 복제한 기술이다.”

그렇지 않습니다. 인공신경망은 생물학적 뉴런에서 아이디어와 이름을 가져왔지만 실제 뇌를 그대로 재현한 구조는 아닙니다. 노드와 층은 수학적 계산으로 구현됩니다.

“층을 많이 쌓을수록 무조건 성능이 좋아진다.”

층이 깊어지면 더 복잡한 관계를 표현할 가능성이 커지지만 학습이 어려워지고 계산 비용과 과적합 위험도 커질 수 있습니다. 데이터와 문제에 맞는 구조가 중요합니다.

“딥러닝은 특징을 자동으로 찾으니 사람이 할 일이 없다.”

사람은 문제, 데이터, 구조, 목표, 평가 기준, 배포 범위를 정합니다. 자동으로 학습되는 것은 이 설계 안에 있는 매개변수와 내부 표현입니다.

“딥러닝에는 언제나 수백만 개의 정답 데이터가 필요하다.”

처음부터 큰 모델을 훈련하려면 많은 데이터가 필요할 수 있습니다. 하지만 자기지도학습, 사전학습, 전이학습을 이용하면 사람이 직접 정답을 붙인 데이터가 적은 작업에서도 기존 표현을 활용할 수 있습니다.

“생성형 AI와 딥러닝은 같은 말이다.”

생성형 AI는 새로운 콘텐츠를 만드는 범주이고, 딥러닝은 이를 가능하게 하는 주요 기술적 접근법입니다. 이미지 분류나 이상 탐지처럼 생성하지 않는 딥러닝도 많습니다.

“딥러닝 모델이 자신 있게 답하면 내부에서도 확실히 알고 있다.”

모델의 출력 점수나 자연스러운 문장은 학습된 관계를 바탕으로 계산된 결과입니다. 사실의 진실성이나 판단의 안전성이 자동으로 보장되는 것은 아닙니다.

딥러닝을 볼 때 무엇을 확인해야 할까요?

어떤 서비스가 “딥러닝을 사용한다”고 설명한다면 기술 이름만 보는 것으로는 충분하지 않습니다.

다음 질문을 함께 확인하면 실제 시스템의 모습을 더 잘 이해할 수 있습니다.

1. 입력은 무엇인가?

이미지, 문장, 음성, 표 데이터 중 무엇을 어떤 형태로 넣는가?

1. 무엇을 학습 목표로 삼았는가?

분류 정확도, 다음 토큰 예측, 추천 클릭률처럼 모델이 줄이거나 높이려는 값은 무엇인가?

1. 어떤 데이터로 학습했는가?

데이터가 실제 사용 환경을 충분히 나타내며, 빠진 집단이나 잘못된 정답은 없는가?

1. 어떤 조건에서 평가했는가?

훈련에 사용하지 않은 데이터와 실제 환경에서도 성능이 유지되는가?

1. 틀렸을 때 어떤 위험이 있는가?

오류를 발견하고 사람이 개입하거나 모델 사용을 중단할 방법이 있는가?

DECHIVE의 해석으로 정리하면 딥러닝의 핵심은 ‘깊다’는 수식어 자체가 아닙니다.

여러 층이 입력을 반복해서 변환하며, 현재의 학습 목표에 유용한 표현을 데이터에서 찾는다는 점이 핵심입니다.

그래서 무엇을 기억해야 할까요?

첫째, 딥러닝은 머신러닝과 별개의 기술이 아니라 머신러닝의 한 방식입니다.

여러 층의 인공신경망을 사용해 복잡한 데이터의 관계를 학습합니다.

둘째, 딥러닝의 강점은 표현학습에 있습니다.

이미지의 픽셀, 음성의 파형, 문장의 토큰을 작업에 유용한 내부 표현으로 바꾸는 과정과 최종 예측을 함께 학습할 수 있습니다.

셋째, 깊이만으로 성능이 결정되지는 않습니다.

좋은 데이터, 적절한 목표, 모델 구조, 학습 방법, 연산 자원, 검증 과정이 함께 필요합니다.

넷째, 딥러닝은 모든 문제의 기본 답이 아닙니다.

작은 표 데이터, 명확한 규칙, 높은 설명 가능성이 중요한 문제에서는 더 단순한 모델이나 일반 프로그램이 더 나을 수 있습니다.

딥러닝이 강력한 이유는 컴퓨터가 사람처럼 생각하기 때문이 아닙니다.

수많은 수치 계산을 여러 층에 걸쳐 조합하고, 오차를 줄이는 방향으로 내부 표현과 가중치를 조정할 수 있기 때문입니다.

그래서 딥러닝 모델을 볼 때는 “몇 층인가?”만 묻기보다 이렇게 물어보는 편이 좋습니다.

어떤 입력을 어떤 표현으로 바꾸며, 무엇을 목표로 배웠고, 처음 보는 데이터에서도 그 능력이 유지되는가?

그 질문에 답할 수 있을 때 딥러닝은 막연한 최신 기술이 아니라, 실제로 검증할 수 있는 머신러닝 모델의 구조로 보이기 시작합니다.

확인한 자료

• LeCun, Bengio, Hinton — Deep learning, Nature
• Deep Learning Book — Introduction
• Deep Learning Book — Representation Learning
• Google Machine Learning Crash Course — Neural networks
• Google Machine Learning Crash Course — Nodes and hidden layers
• Google Machine Learning Crash Course — Activation functions
• Google Machine Learning Crash Course — Training using backpropagation
• Krizhevsky, Sutskever, Hinton — ImageNet Classification with Deep Convolutional Neural Networks
• Google Research — Attention Is All You Need
• PyTorch — Transfer Learning for Computer Vision Tutorial
• Google — Appropriate data for decision forests
• NIST — Four Principles of Explainable Artificial Intelligence