[2024 노벨물리학상] 존 홉필드 & 제프리 힌튼 : 인공지능 [AI] 신경망의 기초를 세우다

 

 

 

 

📜 들어가며: '인공지능', 물리학의 영역이 되다

 

2024년. 우리는 '인공지능' [AI]이라는 거대한 혁명의 한복판에 서 있습니다. 챗GPT가 시를 쓰고, 그림 AI가 사진 같은 이미지를 생성하며, 자율주행차가 도로를 달립니다. 이 모든 기적은 마치 최근 몇 년 사이에 갑자기 나타난 것처럼 보입니다.

하지만 이 '새로운 불'은, 수십 년 전 물리학과 컴퓨터 과학의 경계에서 두 명의 천재가 심어놓은 '씨앗'에서 비롯되었습니다.

1980년대, 컴퓨터는 '계산기'에 불과했습니다. 컴퓨터는 '생각'하는 법을 몰랐고, '학습'하는 법은 더더욱 몰랐습니다. "어떻게 하면 기계가 인간의 '뇌'처럼 작동하게 만들 수 있을까?"

이 질문에 답하기 위해, 한 물리학자는 '자석'의 물리학[통계 역학]에서 '기억'의 원리를 찾아냈고, 다른 한 명은 '오류'를 통해 '학습'하는 강력한 알고리즘을 발명했습니다.

2024년 노벨 물리학상은, '인공 신경망' [Artificial Neural Networks]이라는 분야를 개척하여 오늘날 '기계 학습' [Machine Learning]의 시대를 연 두 명의 위대한 선구자, 존 J. 홉필드 [John J. Hopfield]와 제프리 E. 힌튼 [Geoffrey E. Hinton]에게 수여되었습니다.

 

🏆 영광의 수상 이유: "인공 신경망, 기계 학습의 토대를 열다"

 

스웨덴 왕립 과학 아카데미는 2024년, 이 두 명의 공로를 인정하여 노벨상을 공동 수여했습니다. [상은 홉필드에게 1/2, 힌튼에게 1/2씩 배분되었습니다.]

"인공 신경망을 이용한 기계 학습을 가능하게 한, 기초적인 발견과 발명을 기리며"

이 수상은 'AI의 대부' [Godfathers of AI]로 불리는 두 거장이 어떻게 '물리학'의 원리를 이용해 '컴퓨터 과학'의 혁명을 일으켰는지 보여줍니다.

• 존 홉필드 [이론가]: 1982년, '스핀 유리' [Spin Glass]라는 물리학 이론을 바탕으로 홉필드 네트워크 [Hopfield Network]를 발명했습니다. 이는 인공 신경망이 어떻게 '기억'을 저장하고 '정보'를 복원할 수 있는지[연상 기억], 그 '수학적 원리'를 최초로 규명한 것입니다.
• 제프리 힌튼 [알고리즘 개발자]: 1986년 [동료들과 함께], 다층 신경망이 '어떻게' 스스로 학습할 수 있는지에 대한 핵심 알고리즘, 역전파 [Backpropagation]를 대중화했습니다. 이는 '딥러닝' [Deep Learning]이라는 현대 AI 혁명의 '엔진' 그 자체가 되었습니다.

 

🧠 [절반의 공로] 존 홉필드: '자석'에서 '기억'의 원리를 찾다

 

1980년대 초, 캘리포니아 공과대학 [Caltech]의 물리학자 존 홉필드는 '뇌'의 작동 방식에 매료되었습니다. 뇌는 수천억 개의 뉴런[신경 세포]이 복잡하게 연결된 '네트워크'입니다.

그는 "이 복잡한 뇌가 '기억'을 떠올리는 과정이, 자석 [Spin Glass]이 '안정된' 상태를 찾아가는 과정과 수학적으로 똑같지 않을까?"라는 놀라운 통찰을 했습니다. [이는 2021년 수상자인 조르조 파리시의 연구와도 맞닿아 있습니다.]

'홉필드 네트워크' [Hopfield Network]의 탄생 (1982)

그는 1982년, 이 아이디어를 바탕으로 '홉필드 네트워크'라는 새로운 유형의 '인공 신경망'을 제안했습니다.

• 기존의 신경망: 정보가 '입력'에서 '출력'으로 한 방향으로만 흘렀습니다. [예: '고양이 사진' 입력 → '고양이' 출력]
• 홉필드 네트워크: 모든 뉴런이 '서로에게' 연결되어 '되먹임' [Feedback]을 갖습니다. 정보는 한 방향이 아니라, 네트워크 전체에서 '소용돌이'칩니다.

'에너지 최소점'으로서의 기억

홉필드의 천재성은 이 네트워크를 '물리학'의 언어로 설명한 데 있습니다.

1. 그는 네트워크 전체의 상태를 '에너지 함수'로 정의했습니다.
2. 그는 '기억' [예: 'A'라는 얼굴]을 이 에너지 지형도에서 가장 '낮은 골짜기' [안정된 상태]에 저장했습니다.
3. 만약 우리가 이 네트워크에 'A 얼굴의 일부' [불완전한 정보]를 입력하면, 네트워크는 마치 '산 정상에 놓인 공'처럼 불안정해집니다.
4. 공이 '알아서' 가장 낮은 골짜기로 굴러 내려가듯, 네트워크는 스스로 상태를 업데이트하며 가장 가까운 '에너지 최소점'을 찾아갑니다.
5. 그 결과, 'A 얼굴의 일부'가 '완전한 A 얼굴'로 복원됩니다.

이것이 연상 기억 [Associative Memory]의 원리입니다. 홉필드는 '기억'이라는 추상적인 뇌 활동을, '에너지 최소점'이라는 '물리학'의 언어로 번역해냈습니다.

 

🤖 [절반의 공로] 제프리 힌튼: AI에게 '학습'하는 법을 가르치다

 

홉필드가 '기억'의 원리를 밝혔다면, 제프리 힌튼은 '학습'의 방법을 발명했습니다.

1960년대 '퍼셉트론'이라는 초기 AI는 '한 층'의 신경망이었습니다. 하지만 1969년, 마빈 민스키는 이 1층짜리 AI가 'XOR' 같은 단순한 문제조차 풀 수 없음을 증명하며, AI의 첫 번째 '겨울'을 가져왔습니다.

모두가 '여러 층' [Multi-layer]의 신경망이 필요하다는 것은 알았지만, 이 복잡한 망을 '어떻게 훈련시켜야' 할지 아무도 몰랐습니다.

'역전파' [Backpropagation] 알고리즘 (1986)

1986년, 힌튼은 데이비드 룸멜하트, 로널드 윌리엄스와 함께 '역전파'라는 알고리즘을 결정적으로 대중화시켰습니다. [이 아이디어는 1970년대부터 존재했지만, 힌튼의 공로로 주류가 되었습니다.]

'역전파'는 말 그대로 '오류를 거꾸로 전파하는' 것입니다.

1. [1단계: 순전파] 훈련되지 않은 신경망에 '고양이' 사진[입력]을 보여줍니다. 네트워크는 엉뚱한 답["강아지"]을 내놓습니다.
2. [2단계: 오류 계산] "정답[고양이]과 네 답[강아지]은 이만큼 '틀렸다'"는 '오차' [Error]를 계산합니다.
3. [3단계: 역전파] 이 '오차' 신호를, '출력층'에서 '입력층' 방향으로 '거꾸로' 전파시킵니다. 마치 "너 때문에 틀렸어!"라고 책임을 묻듯이, 이 '오차'에 '기여한' 모든 연결망[시냅스]의 가중치를 '아주 미세하게' 조정[미분]합니다.
4. [4단계: 반복 학습] 이 과정을 수백만, 수십억 번 반복합니다.

이 '역전파'라는 강력한 '엔진' 덕분에, '여러 층'을 가진 '깊은' 신경망, 즉 딥러닝 [Deep Learning]이 마침내 작동하기 시작했습니다.

'볼츠만 머신' [Boltzmann Machine]

힌튼은 또한 1983년 [테리 세즈노스키와 함께] '볼츠만 머신'이라는 새로운 신경망을 개발했습니다. 이는 홉필드의 아이디어[통계 역학]를 '학습'에 적용한 것으로, 현대 AI의 핵심인 '생성형 모델' [Generative Model, AI가 새로운 데이터를 '창조'하는 기술]의 직접적인 조상이 되었습니다.

 

🧐 TMI와 그의 유산

 

'AI의 대부들', 그리고 튜링상

2018년, 컴퓨터 과학계의 노벨상이라 불리는 튜링상 [Turing Award]은 제프리 힌튼, 얀 르쿤, 요슈아 벤지오 세 명에게 공동 수여되었습니다. 이들은 '딥러닝' 혁명을 이끈 'AI의 3대 대부'로 불립니다.

2024년 노벨 물리학상은 이 '3대 대부' 중 힌튼과, 그들의 이론적 토대를 제공한 '또 다른 대부' 홉필드에게 돌아갔습니다. 이는 '컴퓨터 과학'의 업적이 '물리학'의 영역으로 공식 편입되었음을 의미합니다.

힌튼: 구글을 떠난 AI의 양심

제프리 힌튼은 2013년 자신의 회사를 '구글'에 매각하고 '구글 브레인' 팀을 이끌며 현대 AI 혁명의 최전선에 있었습니다. [그의 제자들이 OpenAI의 '챗GPT'를 만들었습니다.]

하지만 2023년, 그는 자신이 만든 기술이 인류에게 미칠 '위험성' [가짜 뉴스, 일자리 대체, 자율 살상 무기 등]을 자유롭게 '경고'하기 위해, 구글을 스스로 퇴사했습니다. 그는 "나는 내가 만든 것을 후회한다"는 말을 남기며 'AI의 양심'이 되었습니다.

홉필드: 80대의 '현역'

존 홉필드는 80세가 넘은 나이[수상 당시 91세]에도 '물리학과 신경과학의 결합'이라는 한 우물을 파며 프린스턴 대학의 '현역' 교수로 활동했습니다.

 

✍️ 나가며: '물리학'이 '지능'을 만나다

 

2024년 노벨 물리학상은 '지능이란 무엇인가'라는 철학적 질문이, 어떻게 '통계 물리학'이라는 수학적 언어를 만나 'AI'라는 공학적 기적이 되었는지를 보여준 상이었습니다.

존 홉필드는 '기억'이 '물질' [스핀 유리]과 같은 법칙을 따른다는 것을 간파하여, 신경망에 '이론적 뼈대'를 주었습니다.

제프리 힌튼은 '오류'가 '학습'의 지름길임을 간파하여, 신경망에 '역전파'라는 '심장'을 달아주었습니다.

이 두 거인이 1980년대에 심은 씨앗은, 40년 뒤인 오늘날 인류의 문명 전체를 바꾸는 거대한 나무로 자라났습니다. 그들의 업적은 'AI 혁명'의 진정한 '시작점'이었습니다.