crossroads webzine

인공지능의 초기 발전에 크게 기여한 두 명의 과학자에게 2024년 노벨 물리학상이 수여되었다. 1982년 존 홉필드(John Hopfield)는 여러 인공신경세포로 구성된 연결망의 구조를 제안해 정보의 저장과 기억 회상의 과정을 구현했고 1985년 제프리 힌튼(Geoffrey Hinton)은 통계물리학의 볼츠만 확률분포를 적용한 인공신경망을 이용해 최초의 생성형 인공지능을 구현했다. 현재 대부분 인공지능은 인공신경망의 구조를 이용한다. 현대의 많은 생성형 인공지능의 발전에 초석을 놓은 것이 바로 1980년대 홉필드와 힌튼의 연구라고 할 수 있다. 게다가 인공지능이 빠르게 발전해 이미 우리 현대인의 삶에 큰 영향을 끼치고 있다는 것을 생각하면, 홉필드와 힌튼에게 노벨 물리학상을 수여한 위원회의 결정에 크게 고개를 끄덕이게 된다. 참고로 존 홉필드는 통계물리학 분야의 노벨상이라고 할 수 있는 볼츠만 메달(Boltzmann medal)을 2022년 수상하기도 했다.

홉필드의 인공신경망

홉필드의 인공신경망은 우리 뇌가 어떻게 작동하는 지에 대한 신경과학 분야의 연구에서 출발했다. 1963년 노벨 생리의학상을 수상한 업적인 호지킨-헉슬리 모형(Hodgkin-Huxley model)은 신경세포(neuron) 하나가 어떻게 작동하는지 설명한다. 신경세포는 자신에게 입력으로 들어오는 전류가 충분히 크면 발화(fire)하고 충분치 않으면 발화하지 않는다. 발화하지 않고 있는 잠잠한 상태(resting state)의 신경세포 안팎의 전위차는 음(-)의 값으로 일정하게 유지되는 데, 입력전류가 충분히 크면 전위차는 짧은 순간 양의 값을 가졌다가 다시 음의 값으로 되돌아오는 스파이크의 방식으로 규칙적인 펄스의 꼴로 진행된다(그림 1).

그림1. 호지킨-헉슬리 모형으로 구현한 신경세포는 충분히 큰 전류가 입력되면 발화하기 시작한다.

=40ms이후 50nA의 전류가 입력되었을 때의 호지킨-헉슬리 신경세포의 전위차 (단위는 mV)의 시간 변화를 그렸다.

신경세포는 다른 신경세포와 아주 작은 틈인 시냅스(synapse) 구조를 통해 연결된다. 시냅스 앞 신경세포(presynaptic neuron)가 발화하면 그 정보가 시냅스를 거쳐서 시냅스 뒤 신경세포(postsynaptic neuron)에 전달되는 데, 같은 정보가 전달되어도 시냅스 뒤 신경세포는 시냅스의 연결강도에 따라서 발화할 수도, 발화하지 않을 수도 있다. 시냅스 연결에 대한 신경과학 분야의 연구를 통해서 어떻게 뇌 안에서 기억이 미시적으로 형성되는 지가 알려졌다. 바로 1949년 도날드 헵(Donald Hebb)에 의해서 밝혀진 헵의 규칙(Hebb‘s rule)이다. 시냅스로 연결된 두 신경세포가 함께 발화하면 시냅스 연결이 더 강해지는 방식으로 신경세포 사이의 연결의 강도가 변한다는 신경과학의 원리다. 외부의 자극이 전달되어서 두 신경세포가 함께 발화하는 과정을 계속하게 되면 둘을 연결하는 시냅스의 연결이 강해지는 것이 바로 학습과 기억의 미시적인 메커니즘이다.

그림2.  인공신경망을 구성하는 노드인 인공신경세포의 작동방식. 신경세포의 상태  는 발화할 때  , 발화하지 않을 때 으로 표현된다. 시냅스 앞 신경세포의 발화 정보는 시냅스의 연결 강도 를 가중치로 해서 시냅스 뒤 신경세포에 전달되는데, 입력된 전체 정보량이 문턱값 보다 크면 계단형 활성화함수를 거쳐 시냅스 뒤 신경세포가 발화한다.

<그림 2>에 표현된 방식으로 실제 뇌 안의 신경세포의 발화를 시늉낸 것이 인공신경세포이며, 홉필드 인공신경망은 많은 인공신경세포가 서로 연결 되어있는 방식의 연결망 구조로 구현된다. 홉필드는 통계물리학에서 강자성체를 설명하는 여러 스핀들로 이루어진 이징(Ising) 모형에서 출발해서 상호작용을 기술하는 행렬 요소를 신경과학 분야에서 이미 알려져있던 헵의 규칙을 이용해 정의했다. 예를 들어, 한글 자음 ’ㅈ‘의 모습이 담겨 있는 단색의 이미지를 떠올려보라(<그림 3>의 붉은색 이미지 참고). ’ㅈ‘의 모습을 따라 늘어서 있는 붉은색을 가진 화소의 상태를 +1, 흰색 배경에 해당하는 화소의 상태를 0이라 하자. 헵의 규칙에 따르면 만약 이미지 상의 두 위치에 있는 화소가 (1,1)이나 (0,0)처럼 같은 상태일 때는 그 두 인공신경세포 사이를 연결하는 시냅스 연결(<그림 2>의 에 해당)에 +1의 값을 부여하고, (1,0)이나 (0,1)처럼 두 인공신경세포의 상태가 다를 때에는 시냅스 연결값으로 –1을 부여하는 방식을 적용할 수 있다. 홉필드는 학습시키고자 하는 패턴을 이처럼 인공신경망의 연결망 가중치로 표현했다. 이런 방식을 여러 학습 패턴으로 확장해 학습시킨 홉필드 인공신경망의 전체 에너지는 상호작용의 부호가 뒤죽박죽인 이징 모형, 즉 스핀 유리 모형의 에너지와 수학적인 형태가 같다는 것이 흥미롭다. (참고로 스핀 유리에 대한 이론 연구가 조르조 파리시가 2021년 노벨 물리학상을 수상한 주요 업적이다). ’ㄱ‘, ’ㄴ‘, 등 여러 한글 자모의 이미지 패턴을 헵의 규칙을 따라 연결 행렬의 가중치로 반영하는 것이 홉필드 인공신경망의 학습 과정에 해당한다. 이렇게 학습이 끝난 홉필드 신경망에 학습시킨 정확한 ’ㅈ‘모습이 아니라 약간의 오류가 있는 ’ㅈ‘을 입력하고 전체의 에너지가 줄어드는 방향으로 연결망의 상태를 변화시키면, 홉필드 연결망은 결국 올바른 ’ㅈ‘을 생성해 낸다(<그림 3>참고). 홉필드는 인공신경망의 작동방식을 통계물리학의 자성체 모형의 작동방식에서 착안했다. 인공지능 분야의 초석을 놓은 기여로 노벨상을 수상한 홉필드의 업적은 물리학 분야의 연구라고 할 수 있다.

그림3.  ‘ㅈ’을 학습한 홉필드 인공신경망에 오류가 있는 ‘ㅈ’을 입력하고 에너지를 줄여가는 과정의 중간 단계의 패턴. 결국 최종 단계에서 올바른 ‘ㅈ’에 다다르게 된다.

홉필드의 연구는 신경망이 패턴을 학습하는 것이 신경세포에 학습정보가 저장되는 방식이 아니라 신경세포 사이의 시냅스 연결의 강도변화로 구현될 수 있다는 것을 명확히 보였다. 또한, 철자가 조금 잘못된 Einstien이라는 단어를 보아도 우리가 Einstein을 떠올리듯이, 우리 뇌가 기억한 정보를 떠올리는 과정에서 자연스럽게 오류를 교정하는 것이 가능하다는 것을 보인 것도 무척 중요하다. 홉필드의 인공신경망은 현재 인공지능 분야에서 주로 이용하는 방식은 아니지만, 신경망의 형태로 인공지능을 성공적으로 구현해내서 인공지능의 초기 발전 역사에 큰 발자취를 남긴 연구다.

힌튼의 볼츠만 기계

홉필드 인공신경망에서 노드를 서로 연결하는 연결행렬은 학습시키고자 하는 패턴이 주어지면 딱 하나로 주어진다. 홉필드 인공신경망의 작동 방식은 모범답안을 미리 외우도록 한 다음에 틀린 추측에서 시작해서 가장 가까운 모범답안을 떠올리는 것과 비슷하다. 정확한 ’ㅈ‘글자의 모습이 주어지는 것처럼 모범답안이 있는 경우가 아니라면, 우리 인간이 현실에서 정보를 학습하는 것과는 분명히 다르다. 예를 들어, 어린 아이에게 개와 고양이 사진을 여럿 보여주는 상황을 생각해보자. 이 경우에는 표준이 되는 모범답안으로서의 개, 고양이 사진을 딱 하나로 특정할 수 없다. 아이는 개와 고양이 사진을 보는 과정을 계속 이어가면서 둘을 구별해내는 방법을 스스로 습득한다. 그렇다면 모범답안이 주어져 이를 연결행렬에 반영해 학습한 다음에야 작동을 시작하는 홉필드 인공신경망과 달리, 연결행렬 자체가 학습 데이터에 의해서 변하도록 하면 어떨까? 바로 1985년 제프리 힌튼이 제안한 볼츠만 기계의 아이디어다.

홉필드 인공신경망의 에너지  는 주어진 연결행렬( )과 현재 연결망의 상태에 의해서 결정된다. 학습한 모범답안에 대응하도록 를 딱 하나로 고정한 다음에는 를 바꾸면서 점점 에너지를 줄여가면, 가 가장 에너지가 낮은 모범답안에 해당하는 상태에 도달하게 되는 것이 홉필드의 인공신경망이다. 힌튼의 볼츠만 기계 논문은 에 등장하는 를 체계적으로 바꿔가는 방법을 제안한다. 힌튼은 이를 위해 통계역학의 볼츠만 확률분포 ( )를 이용했고, 자신이 제안한 방법에 볼츠만 기계라는 이름을 붙였다. 제프리 힌튼을 물리학자라고 하기는 어렵지만, 이번에 노벨상을 수상한 그의 업적은 분명히 물리학에 기반하고 있다.

통계역학의 이론 체계안에서 볼츠만의 확률분포를 유도할 수 있지만, 짧게 설명하기는 어려워 그 의미만을 설명해보자. 낮은 온도에서는 물이 얼어 얼음이 되는데, 그 이유는 얼음이 물보다 에너지가 더 낮기 때문이다. 이처럼 절대온도가 0에 아주 가까워지면 최소 에너지인인 상태만 가능해지고, 이보다 조금이라도 에너지가 높은 상태는 확률이 0에 아주 가깝게 된다. 볼츠만 확률분포의 수식에서 의 경우 의 값은  일 때만 큰 값을 갖고 가 조금만 커져도 확률이 0에 아주 가까워진다는 것으로 이를 확인할 수 있다.

온도가 아주 높아지면 시스템은 에너지가 최소인 상태가 아니라 엔트로피가 최대인 상태를 선호하게 된다. 결국 에너지가 낮든 높든 어떤 상태에도 있을 수 있는데, 이것도 볼츠만의 확률분포에 를 대입하면 쉽게 이해할 수 있다. 아주 낮은 온도와 아주 높은 온도에서만 생각해보았지만, 볼츠만의 확률분포는 평형상태에 있는 통계역학 시스템이라면 어떤 온도에서도 만족하는 확률분포다.

힌튼은 학습 데이터를 가장 비슷하게 기술하는 확률분포를 찾는 방법을 제안했다. 학습데이터로 만들어낸 확률분포와 볼츠만 기계가 가진 현재의 확률분포사이의 차이를 체계적으로 줄여가는 과정을 거치면서를 조금씩 바꿔가게 된다. 힌튼의 볼츠만 기계는 바로 이 과정을 따라 학습을 이어가다가 최종적인 확률분포에 도달한다. 힌튼의 볼츠만 기계가 만들어내는 것이 확률분포라는 것이 중요하다. 이렇게 학습 데이터를 잘 설명하는 확률분포를 얻은 다음에는 높은 온도에서 출발해서 온도를 점점 낮추어가면 학습 데이터와 다른를 얻을 수도 있다. 바로 이 과정이 현대의 생성형 인공지능의 생성 과정이어서 힌튼의 볼츠만 기계가 현대의 생성형 인공지능의 첫 출발점이라고 할 수 있다. 힌튼의 볼츠만 기계는 입력과 출력이 일어나는 밖에서 보이는 신경망에 보이지 않는 신경망을 보탠 연결구조, 그리고 시간이 오래 걸리는 학습과정을 크게 줄일 수 있는 제한된 볼츠만 기계(restricted Boltzmann machine)로 연이어 발전하게 된다.

통계물리학에 기반한 홉필드와 힌튼의 연구

2024년 노벨 물리학상을 수상한 두 과학자의 연구가 과연 물리학에 속하는 지에 대해 일부의 논의가 있는 것으로 알고 있다. 강자상체를 설명하는 통계물리학의 이징 모형에서 출발해 이를 확장한 스핀 유리 모형이 바로 홉필드 인공신경망의 에너지를 정의하는 착안점이 되었다는 점, 그리고 홉필드 인공신경망이 에너지를 줄여가는 과정이 정확히 통계물리학의 몬테 카를로 기법에 대응한다는 점에서, 나는 홉필드의 인공신경망 연구는 분명히 통계물리학 분야에 속한다고 생각한다. 물리학을 전공하지 않은 제프리 힌튼의 볼츠만 기계도 마찬가지다. 통계물리학의 볼츠만 확률분포를 이용해 학습과정을 구현했으며 힌튼이 자신의 방법에 볼츠만 기계라는 이름을 붙인 것에서도 알 수 있듯이, 노벨 전산과학상이 따로 존재하지 않는 한 힌튼의 업적은 노벨 물리학상을 받을 충분한 가치가 있는 연구라고 확신한다. 이번 노벨 물리학상의 수상에서 볼 수 있듯이, 물리학은 전통적인 학문의 범주를 훌쩍 뛰어넘을 수 있는 확장의 가능성이 가장 큰 학문분야라고 할 수 있다. 최근의 이미지 생성 인공지능이 이용하고 있는 확산 모형도 브라운 입자의 운동을 기술하는 통계물리학의 확산 방정식에 기반하고 있듯이 말이다. 앞으로의 인공지능의 발전에도 계속 물리학과 같은 기초과학이 기여할 여지가 크다고 생각한다. 많은 청소년이 이번 노벨 물리학상을 계기로 물리학에 더 큰 관심을 갖게 되기를 희망한다. 물리학은 모든 과학과 공학 발전의 튼튼한 토대가 될 수 있기 때문이다.