AI미래기획수석에 네이버 하정우 소장 임명

새 정부의 AI미래기획수석에 네이버 하정우 소장이 임명되셨다. 이런 일을 맡게 될 것 같은 사람을 딱 한 명만 꼽는다면 이 분 말고는 잘 생각이 안 나긴 했다.

한국인/한국계 AI 연구자 개개인들은 인구 규모에 비해서는 세계적으로도 굉장히 잘 하고 있다고 생각한다. 유명하고 중요한 논문들에서 한국인들의 이름이 생각보다 정말 자주 보인다. 그러나 국가적인 수준에서 실제 ai 산업 생태계에서 뒤쳐지지 않는 것은 또 다른 문제다. 경쟁력 확보에 있어서 유효하게끔, 큰 그림부터 디테일한 지원까지 적확한 곳에 잘 이루어지기를 바라게 된다.

Facebook에서 이 글 보기: 링크

2025-04-23 한국물리학회 봄학술대회 (대전) 참석 후기

수요일에서 금요일까지 진행된 한국물리학회 봄학술대회에 참여하고 일요일까지 대전에 조금 더 머물렀다.

학회에서는 맥스웰의 악마, 정보열역학 등에 대한 내 최근의 연구 주제를 바탕으로 포스터 발표를 했다. 사실 기본 틀 자체는 지난 학기에 한 것과 똑같은데, 이번에 큰 편차 이론(large deviation theory)을 바탕으로 진전된 내용들을 추가해서 가지고 갔다. 애정을 가진 주제인데 이번에도 교수님들께는 많이 못 보여드린 것이 아쉽긴 하지만 다행히 함께 공부하는 입장인 대학원생 동료들이 많이 와서 재밌게 들어주셨고, 통계물리가 아닌 다른 분야에 있는 분들에게도 어느정도 재미있게 설명이 가능한 주제인 것 같다는 생각을 했다.

통계물리 분야는 본래 이런저런 워크숍도 많고 서로 꽤나 돈독한 편인데, 이번 물리학회에 와보니 슬슬 모르는 얼굴들이 많아진다는 생각을 했다. 주로 대학원에 새로 들어오신 분들일 텐데, 그 분들과도 새롭게 통성명하고 인사를 나누고 싶지만, 달리 말하면 이는 어느새 졸업을 생각할 시기가 다가오고 있다는 뜻도 된다. 그동안 교수님과 동료 학생들의 도움을 참 많이 받았는데 앞으로는 떳떳한 박사가 될 수 있게 남은 기간 동안 내 스스로의 힘으로 포말리즘을 써 내려가고 계산을 뚫으면서 연구를 할 수 있다는 증명을 하면 좋을 것 같다.

학회 끝나고서는 일단 자전거를 꽤 많이 탔다. 대전이 자전거 타기에 참 좋은 도시다. 택시비를 쓰지 말아 보자는 생각으로, 어디 갈때면 공용자전거 타슈를 타고 지하철 역까지 가서 도시철도를 이용하는 식으로 이동했다. 특히 갑천을 따라 DCC부터 어은동에 이르는 길이 평탄하고 사람도 많지 않은지라 자전거를 타기에 정말 좋아서, 친구를 기다리며 편도로 세 번 정도 달려 보기도 했다.

주말 약속은 모두 고등학교 친구들이었다. 고교 동기들은 단 2년만 함께했는데도 불구하고 오랜만에 봐도 참 한결같다고 느껴질 때가 많아서 신기하다. 그래도 각자 가는 길은 다르다. 고등학교 때는 당연히 대부분 대학원 가서 박사 하고 그럴 줄 알았는데, 생각보다 대학원에 남아있는 사람이 많지는 않고 (특히 나랑 친했던 애들이 더 그런 것 같다) 다들 각자의 위치에서 잘 살고 있구나 생각했다. 이제 나만 잘하면 된다...ㅠㅠ

특히 이번에 카이스트 교수가 된 동기도 만나서, 연구실 구경할 겸 카이스트 산책도 했다. 우리 한성과학고 21기 중에 교수 임용은 처음인 걸로 아는데, 이 친구는 최근 수 년간 파격적으로 젊은 학자 채용을 많이 한 AI나 AI반도체 쪽이 아닌데도 불구하고 아주 젊은 나이에 임용된 거라 더 대단하다고 느낀다. 고교 시절이나 학부 때도 뽐내는 타입이 아닌데도 늘 잘하고 집념도 대단하고 태도도 남다르다고 생각했는데 잘되어서 보기에 참 좋았다.

그리고 대전역에 꿈돌이 매장이 있다고 하길래 마음의 준비 없이 들렀다가 홀린 듯이 많이 사 버렸다. 표정을 알 수 없고 무언가를 꿈꾸는 듯한 근본-꿈돌이는 지극히 담백하고 귀엽지만 다소간에 고전적인 '도안'의 개념에 묶여 있는 느낌도 있는데, 요새 재조명되면서 나오는 꿈돌이들은 표정도 풍부한 편이고 통통하며 친근감이 있다. 처음 볼 때는 상당히 낯설었는데 계속 보다 보니 또 괜찮은 듯하다. 한 도시의 (사실상)마스코트가 미래 과학기술 관련이고, 최고층 건물 이름도 사이언스센터인 것은 참 멋진 일인 듯하다.

주말에 묵은 숙소 바로 앞에는 옛날식 찻집이 있었는데, 어항도 여러 개 있고 식물도 많이 있어서 약간 2000년대 한국 영화 미장센 느낌이 났다. 주인분이 내 지갑에 있는 실밥들을 보시더니 오래 써야 된다며 라이터로 실밥을 태워주셔서 약간 무섭기도 했지만 호의도 느낄 수 있었다.

내가 식사빵 말고 간식빵은 별로 좋아하지 않아서 대전 올 때도 성심당을 잘 안 갔었는데, 이번에 아침에 줄이 별로 없길래 거의 처음으로 제대로 둘러봤다. 고구마 빵이랑 거북메론빵을 샀는데 가격도 저렴할뿐더러 아주 예쁘고 맛있었다. 내년 봄 KPS는 평소와 달리 대전에서 안 하는지라, 이번에 대전 한번 열심히 둘러보길 잘한 것 같다.

Facebook에서 이 글 보기: 링크

이항 관계(Binary relations)의 개념과 몇 가지 성질

어떤 집합 \(A\)에서 정의되는 이항 관계(binary relation), 혹은 단순히 관계(relation) \(\mathrm{R}\)는, 그 집합의 원소들의 순서쌍 \((x,y)\)들을 원소로 갖는 어떤 집합이다.

이런 것을 왜 정의하는가? 일상 언어에서의 '관계가 있다'라는 말을 집합의 언어로 형식화한다고 생각하면 이해가 쉽다. 세 원소 \(a,b,c \in A\) 가 만드는 순서쌍 중, 예를 들어서 \((a,b)\)는 특정한 관계를 만족하지만, \((a,c)\)는 그러한 관계를 만족하지 않는 상황을 얼마든지 생각할 수 있다. 이를 \((a,b)\in\mathrm{R}\), \((a,c)\notin\mathrm{R}\)로 하여, '관계를 만족한다(만족하지 않는다)'는 것을 '집합 \(\mathrm{R}\)의 원소이다(원소가 아니다)'라고 형식화하는 것이다.

이때 이항 관계 \(\mathrm{R}\)에 별다른 조건은 없다. 즉 사람 눈으로 보기에 이게 정확히 어떤 관계인지 의미를 부여하기 어렵더라도 상관이 없다. 마치 함수(실제로 이항 관계는 함수의 일반화이다)가 반드시 우리가 아는 어떤 식 \(f(\cdot)\)를 이용하여 \(y=f(x)\) 꼴로 간결하게 나타내어지거나 일상 언어로 의미가 부여될 필요는 없는 것과 같다.

이를 간단히 \(a\mathrm{R}b\)라고 표기하기도 한다. 이렇게 표기하면 상당히 생소해 보이지만, 결국 집합에 대한 이야기이므로 너무 낯설어하지 않아도 되며, 공부하다가 확실하지 않은 것은 집합의 언어로 풀어 쓰면서 확인하고 이해해 볼 수 있다. 그렇지만 이항 관계들을 능숙하게 다루기 위해서는 그렇게 매번 집합의 언어로 바꾸어서 다루기보다는, 이항 관계의 주요 성질들을 숙지한 뒤 \(a\mathrm{R}b\)와 같은 표기법을 바탕으로 다룰 줄 아는 것도 필요할테다.

이하에서는 주어진 이항 관계가 만족하거나 만족하지 않는 몇 가지 주요 성질들(비대칭성, (비)반사성, 반대칭성 등)을 소개하고, 집합과 논리를 연습할 겸 간단한 정리 1개의 증명을 다룬다.

1. 비대칭성(asymmetry)

\[\forall x,y \in A,\, (x,y)\in\mathrm{R} \Rightarrow (y,x)\notin\mathrm{R}.\]

이항관계 \(\mathrm{R}\)이 비대칭적(asymmetric)이라는 것은, \((x,y)\)가 그 관계를 만족할 경우 이것을 뒤집은 \((y,x)\)는 그 관계를 만족하지 않는다는 뜻이다. 집합의 원소를 점으로 표현하고 관계를 화살표로 표현하면, 이를 어떤 두 점 사이에도 화살표가 한 방향으로만 있어야 한다(혹은 아예 없거나)고 말할 수 있다. 그림을 통한 이해는 최하단 사진에서 볼 수 있다.

2. 반사성(reflexive)와 비반사성(irreflexive)

(1) 반사성

\[\forall a\in A, (a,a)\in\mathrm{R}.\]

이항관계 \(\mathrm{R}\)이 반사적이라는 말의 정의는, \(A\)의 모든 원소 \(a\)에 대해 \(a\)에서 출발해서 바로 자기 자신으로 돌아가는 화살표가 있어야 한다는 것이다 (여러 점을 거쳐서 다시 들어가는 것은 가능하다. 이항(binary), 즉 두 원소 사이의 관계이므로 이런 것은 고려의 대상이 아니다).

(2) 비반사성

\[\forall a\in A, (a,a)\notin\mathrm{R}.\]

이항관계 \(\mathrm{R}\)이 비반사적이라는 것은, \(A\)의 어떤 원소 \(a\)에 대해서도, \(a\)에서 출발해서 바로 자기 자신으로 돌아가는 화살표가 없어야 한다는 뜻이다. 이러한 비반사성은 단순히 '반사적이지 않다'는 것과는 다르다.

3. 반대칭성(antisymmetry)

\[\forall x,y\in A, \quad (x,y)\,\mathrm{and}\,(y,x)\in\mathrm{R}\,\,\Rightarrow\,\, x=y.\]

이항관계 \(\mathrm{R}\)이 반대칭적(antisymmetric)이라는 것은, 두 순서쌍 \((x,y),(y,x)\)가 모두 \(\mathrm{R}\)을 만족하는 경우는 \(x,y\)가 사실 같은 원소인 경우뿐이라는 뜻이다. 이를 반대로 생각하면(대우명제) 더 쉬운데, \(x,y\)가 다른 원소일 경우에는 양쪽 화살표 둘 모두가 존재해서는 안 되고, 한쪽만 있거나 아예 없어야 한다는 뜻이다. 자기 자신에서 나와서 자기 자신으로 들어가는 화살표는 가능하다.

이상의 정의로부터, 어떤 이항관계가 반대칭인데, 자기 자신에서 나와서 자기 자신으로 들어가는 화살표까지 없으면, 그 이항관계는 비대칭이라는 것은 직관에 따라 비교적 명확하다. 실제로 다음이 성립한다. 즉 비대칭성과, '반대칭성 & 비반사성'은 서로 필요충분조건이다.

\[\textrm{R is asymmetric}\,\,\Leftrightarrow\,\,\textrm{R is irreflexive and antisymmetric}\]

이를 집합의 언어로 증명해 보자. 증명 과정을 명료하게 써 보는 일, 그러면서도 그림을 통한 직관적인 이해와 align시켜 보는 일은 생각보다 재미있다.

① \((\Rightarrow)\)

i) asymmetric \(\Rightarrow\) irreflexive

이항관계 \(\mathrm{R}\)이 비대칭일 때,

만약 어떤 \(a_1,a_2\in A\)가 존재하여 \(a_1=a_2\,(=a)\)이고 \((a_1,a_2)\in\mathrm{R}\)이라면 (가정)

비대칭성의 정의에 의하여, 순서를 바꾼 순서쌍 \((a_2,a_1)\) 은 \(\mathrm{R}\)의 원소가 아니다.

그러나 \(a_1=a_2\)이므로 실제로는 이는 원래 순서쌍과 동일하며 따라서 \(\mathrm{R}\)의 원소여야 한다는 결론이 나온다. 이는 모순이다. 따라서 가정은 잘못되었다.

즉, 어떠한 \(a\in A\)에 대해서도 \((a,a)\notin\mathrm{R}\)이다. 곧, \(\mathrm{R}\)은 비반사적이다.

ii) asymmetric \(\Rightarrow\) antisymmetric

이항관계 \(\mathrm{R}\)이 비대칭일 때,

\((x,y)\in\mathrm{R}\,\,\Rightarrow\,\,(y,x)\notin\mathrm{R}\)이므로,

반대칭 여부를 판단하기 위한 조건인 \((x,y)\,\mathrm{and}\,(y,x)\,\in\mathrm{R}\)을 만족하는 순서쌍 자체가 존재하지 않는다. 따라서 \(x=y\)는 vacuously true이다. 곧, \(\mathrm{R}\)은 반대칭이다.

② \((\Leftarrow)\)

이항관계 \(\mathrm{R}\)이 비반사적이고 반대칭일 때,

만약 어떤 \((x,y)\in\mathrm{R}\)에 대해 \((y,x)\in\mathrm{R}\)이라면 (가정)

\(x,y\)의 관계는 같거나 다르거나 둘 중 하나인데,

\(x=y\)라면 \((x,x)\in\mathrm{R}\)이므로 비반사성에 모순이고,

\(x\neq y\)라면, \((x,y)\,\mathrm{and}\,(y,x)\,\in\mathrm{R}\)인데 \(x\neq y\)이므로 반대칭성에 모순이다.

따라서 어떤 경우에도 가정은 잘못되었다.

즉 모든 \((x,y)\in\mathrm{R}\)에 대해 \((y,x)\notin\mathrm{R}\)이다. 곧, \(\mathrm{R}\)은 비대칭이다.

①, ②를 종합하면, 증명하고자 했던 정리가 참임을 알 수 있다.

Facebook에서 이 글 보기: 링크

- 끝 -

딥러닝의 일반화 성능에서 'flat minima' 테제의 역사 (history of 'flat minima' argument on the generalization performance of deep learning)

뉴럴 네트워크가 지극히 성공적인 이유를 설명할 때 주로 핵심이 되는 키워드는 일반화(generalization)이다. 일반화란 주어진 데이터에 과적합(overfitting)되지 않고 새로운 샘플들이 들어와도 좋은 성능을 내는 능력을 말한다. 이는 모델의 단순성(simplicity)과도 어느 정도 관련된다. 모델이 지나치게 복잡하면 training set은 아주 잘 맞출 수 있겠지만, (동일한 가상의 분포로부터 왔다고 간주되는) 새롭게 주어지는 test set은 잘 맞추지 못하게 되기 때문이다.

문헌들에서는 딥러닝이 이러한 높은 일반화 성능을 보여주는 이유가, loss function landscape의 flat minima와 거의 동일시되는 경우가 많다. 뉴럴 네트워크의 가중치들이 SGD와 같은 최적화 과정을 통해 도달한 지점이, 뾰족하지 않고 널찍한 곳일 때에 일반화를 잘 한다는 것이다.

SGD를 포함한 표준적인 딥러닝 학습 알고리즘의 recipe가 신경망 가중치들로 하여금 왜 이러한 flat minima를 선호하게 되는지, 혹은 표준적인 recipe를 어떻게 수정해서 flat minima를 일부러 더 선호하게 할지에 대해서, 비평형 통계물리학을 포함한 다양한 관점에서의 많은 연구가 존재한다.

그런데 더 기본으로 돌아가서, 이러한 flat minima가 일반화 성능과 동일시될 수 있는 이유는 정확히 무엇인가? 근래의 딥러닝 논문들에서 이 주장을 정당화할 때, loss landscape가 조금 뒤틀어져도 (즉, 데이터셋이 조금 바뀌어도) 모델의 특성이 크게 바뀌는 게 없어서라고 직관적으로만 주로 설명한다. 이는 설득력이 있으며 일반적으로 널리 받아들여진다. 그러나 정말로 그러한지, 그리고 이론적으로는 어떻게 설명할 수 있는지는 별개의 문제이다. 이에 문헌 조사를 해 보았다.

[1] S. Hochreiter and J. Schmidhuber, "Simplifying neural nets by discovering flat minima," NIPS 1994.

[2] S. Hochreiter and J. Schmidhuber, "Flat minimum search finds simple nets," Technische Universität München Technical report FKI-200-94, 1994.

[3] S. Hochreiter and J. Schmidhuber, "Flat minima," Neural Computation 9(1), 1997.

찾아본 결과, 위 논문 [1]이 머신 러닝에서 flat minima가 generalization에 좋다는 것을 논의한 제일 첫 문헌인 것 같다. 나는 사실 NIPS (NeurIPS의 예전 이름)가 1994년에 존재했는지도 몰랐다.

같은 저자들의 1997년 논문([3], 제목이 그냥 flat minima인)이 보통 최초라고 간주되고 많이 인용되는데, 상대적으로 인용이 덜 된 위 문헌이 사실 몇 년 더 먼저이고, [3]에도 [1]이 이미 인용이 되어 있다. 아마 조금 더 자세한 기술적 디테일과 실험 결과를 담은 technical report([2], 웹 검색으로 찾기 조금 어려운 편인데 Schmidhuber의 웹사이트에서 다행히 찾을 수 있었다)와 함께 NIPS 1994에 먼저 리포트한 뒤에, 이를 종합하고 보완해서 정식 저널에 1997년에 출판한 것으로 보인다. 내용들은 거의 비슷비슷하다.

이 논문들 역시 flat minima에 대해 위에서 서술한 직관에서 출발하지만, 그것을 이론적, 실험적으로 보다 엄밀하게 보이고자 한다. 먼저, 모델이 generalization를 잘 하기 위해서 가급적 simple해야 한다는 것 자체는 이 논문 이전에도 널리 알려진 것 같다. 이를 위해서 좋은 Gaussian prior를 골라야 한다는 Hinton 등의 연구가 있었다고 한다. 또한 지금은 Santa Fe 연구소에서 계산의 열역학을 연구하고 있는 D. H. Wolpert의 연구 또한 이 대목에서 인용된다.

반면 이 연구에서는 prior에 덜 의존하면서도 높은 generalization 성능을 달성하기 위해, flat minima를 처음으로 제안한다. 위에서 이야기한 것처럼, flat minima 제안의 토대가 되는 직관 자체는 현재 우리가 이해하고 있는 것(모델이 simple함 \(\rightarrow\) weight가 바뀌어도 GE가 많이 안 변해야 함 \(\rightarrow\) flat minima여야 함)과 거의 일치한다. Prior에 대해 덜 엄격한 가정만이 필요하다는 것은, appendix A.1.에서 GE를 overfitting error와 underfitting error로 나누고, 전자에서 베이즈 통계 기반으로 정당화한다.

다음으로 모델의 simplicity를 정보이론 내지는 코딩 이론의 MDL (minimum description length) 을 이용하여 설득력 있게 정량화하고, 이것이 loss의 Hessian과 관련지어지므로 landscape의 flatness에 대응된다는 것을 appendix 및 technical report에서 보이는 것 같다. 이론적으로 가장 흥미로운 부분이다.

이를 바탕으로, 일반적인 mean square error에 flatness를 선호하게끔 하는 항을 explicitly 더해준 채로 gradient descent를 하고, noisy classification 및 recurrent network 문제에서 그 성능을 검증해 보았다고 한다.

다만 현대 딥러닝에서는 이 논문처럼 flatness를 일부러 선호하게 해 주는 대신, 'stochastic' gradient descent가 random process로서 갖는 통계적 특성 자체가 implicit하게 flatness를 선호하게 해 주는 효과를 갖는다고 이해되고 있으며 이는 비평형 통계물리학 이론을 통해서도 활발히 연구된 바 있다. SGD는 단지 batch size 절약을 통해 계산 비용을 절감하는 것뿐 아니라, 더 나은 minima에 도달하기 위한 과정인 것이다.

Flat minima를 포함해서, 현대적인 딥러닝의 recipe에서 표준에 가깝게 받아들여지는 각각의 요소가 여러가지 다원적인 기여에 의해 만들어지는 과정이 참 흥미롭다. 수십 년 동안 제안되고 발전되어 온 여러 방법 및 개념들 중에서도, inductive bias가 적고 large scale에서도 성공적으로 작동한다고 검증된 것들이, 현재 트랜스포머 기반의 초거대 ai 시대에도 현재진행형으로 역할을 하며 도도하게 남아있는 걸 보면 너무 멋진 듯하다 (정작 트랜스포머의 원류가 되는 Kyunghyun Cho 교수님의 attention mechanism 논문은 딥러닝 붐 초기라고 할수 있는 2014년에 나오긴 했다). 이러한 과정이, 마치 양자역학의 초기 역사처럼 과학기술사가들에 의해 잘 탐구되고 정리되면 좋을 듯하다.

한편, 저자인 Hochreiter는 Neural computation 9(8) 1997에서 LSTM(Long Short-Term Memory)을 최초로 제안한 연구자이기도 하다. 1967년생이라고 하니, 20대 후반~30대 초반에 이 일련의 중요한 논문들을 쓴 셈이다.

Linkedin에서 이 글 보기: 링크

Facebook에서 이 글 보기: 링크

Sanaka AI의 swarm intelligence와 AI Scientist의 관계가 그 윤곽을 드러내다

Sanaka AI는 자연-모방 계산(nature-inspired computing), 무리짓는 지능(swarm intelligence) 등을 테마로 해서 창업된 회사이다. 이 테마는 silicon photonics, reservoir computing, probabilistic 및 thermodynamic computing 등과 함께 비전형적(unconventional) 컴퓨팅, 그 중에서도 analog computing의 한 종류에 잠재적으로 해당할 수 있다.

그런데 Sakana AI가 발표한 초기 결과들(특히 굉장한 화제가 된 The AI Scientist: 링크)은 이 테마와는 언뜻 크게 관련 없어 보이는, LLM을 이용한 과학 연구 자동화 쪽이어서 나로서는 한동안 의아하게 생각하고 있었다. 그런데 ASAL(Automated Search for Artificial Life)을 비롯한 최근에 발표되는 결과들(ASAL 논문: https://arxiv.org/pdf/2412.17799 , LinkedIn 포스트: https://bit.ly/40fGL9Z )을 보니 이것이 회사의 본래 테마와 어떻게 연결되는지 어느 정도 이해가 된다.

내 과거 포스트 "세포 자동자와 능동 물질: 비교하고 접점을 탐색하기" (블로그 링크: https://lnkd.in/gbM_EGMz)에서는 SmoothLife 및 Lenia를 비롯한 세포 자동자(특히 전통적인 세포 자동자와 달리 연속적 공간에서 정의되는)의 여러 예시들을 간단히 소개하고, 제 연구 분야인 능동 물질(active matter)과의 연관성도 생각해 본 바 있다.

최소주의적 상호작용 규칙을 통해 자발적으로 구성되고 유지되는 이러한 '인공세포'들의 패턴형성과 각종 기능수행은 눈으로 감상하기에 매우 재미있을 뿐만 아니라, 무리짓는 지능을 구현할 수 있는 잠재력이 크다. Sakana AI의 창립자인 David Ha 역시 과거부터 이 분야에 관심이 많았다.

그러나 이들을 이용한 저전력 아날로그 계산이 실현되려면, 이러한 인공 세포들이 디지털 컴퓨터 속에서 고비용으로 emulate되는 데에 그치지 않고 실제 물리적 제약을 만족시킬 필요가 있다 (실제로 Lenia의 최근 버전인 Flow-Lenia는 보존법칙, 국소성을 비롯한 이러한 부분에 집중한 것으로 알고 있다. 논문 링크: https://bit.ly/3PzwMHr).

ASAL을 보니, Sakana AI가 과학연구 자동화 솔루션을 만든 목적 역시, 잠재적으로 존재할 수 있는 인공세포들의 거대한 공간 속에서, 원하는 형태론적 조건을 충족시키거나 원하는 기능을 수행하면서도 물리적 제약을 만족하는 상호작용 규칙을 LLM으로 광범위하게 탐색하고 자동적으로 찾아내는 데에 초점이 맞추어진 것 같다. 이러한 광범위한 탐색 과업은, 인간의 창조성이 기계를 통해 간접적으로 행사되게 함으로써 스케일을 키우고 자동화한 AI Scientist의 시도와 잘 어울려 보인다.

이러한 무리짓는 지능은 현재 주류 패러다임인 디지털 컴퓨터 기반의 계산뿐 아니라 다른 비전형적 컴퓨팅 방법과 비교하더라도 당장의 현실화와는 꽤나 거리가 있어 보인다. 그럼에도 앞으로 이 창의적인 분야의 방법론적, 내용적 발전을 더욱 기대하게 된다.

LinkedIn에서 이 글 보기: https://bit.ly/40uFjlc

Facebook에서 이 글 보기: 링크

복잡계 분야 윤혜진 교수님의 서울대 경영대 부임 소식

우리 교수님의 교수님이신 정하웅 교수님의 또다른 박사 제자이신 윤혜진 교수님(켈로그 스쿨)께서 이번에 서울대학교 경영대학으로 옮겨 오셨다는 소식(링크)이다. 부임한 지 얼마 안 되셔서 바쁘시겠지만 우리 연구실에도 초청 강연을 추진해 보면 좋겠다.

복잡계물리 쪽 연구방법론으로 인문사회 쪽 전공에 임용되신 또다른 경우로는 서울대 사회학과 손윤규 교수님이 계시며, 융합적인 전공에서 데이터 기반으로 인문사회학적 문제를 연구하시는 분들로 넓혀 보면 경희대학교 육순형 교수님, 숭실대학교 윤진혁 교수님 등 더욱 많이 계신다.

Facebook에서 이 글 보기: 링크

2024년 노벨물리학상 및 노벨화학상에 대한 단상들

2024.10.08.

올해 노벨물리학상은 굉장한 화제와 논란을 낳고 있는데 개인적으로는 매우 환영하는 바이며 전혀 이상하지 않게 느껴진다. 수상자 중에 제프리 힌튼(Geoffrey Hinton)이야 딥러닝 분야의 최고 기여자로 늘 세 손가락 안에 꼽힐 정도로 유명하고, 또다른 수상자인 존 홉필드(J. J. Hopfield)가 어떤 분인지에 대해서는 마침 작년에 썼던 글이 있어서 공유해본다 (게시물: 링크).

나야 무척 환영이지만 논쟁적인 수상이긴 할 것 같기는 한데, 심지어 물리학을 공부하는 대학원생들 중에서도 순수물리학이 아닌 인공지능 분야가 노벨물리학상을 받았다며 비꼬거나 부정적으로 보는 분들이 많이 있는 걸 보면 분위기가 별로 좋지만은 않은 듯하다.

먼저 사람들이 크게 오해하고 있는 부분은, AI가 성공하고 나니까 물리학이 뒤늦게 숟가락을 얹어서 시상을 했다는 생각이다. 힌튼은 또 몰라도, 홉필드의 경우 신경망 연구를 하긴 했지만 그 때나 지금이나 완전히 물리학자였고, 그 신경망 연구도 명백한 물리학의 한 분야로 인식되고 연구된 것이니, 충분히 물리학상에 worth하다고 생각하긴 한다.

게다가 홉필드만 일탈적으로 그런 연구를 한게 아니라 한국을 포함한 수많은 나라의 물리학자들이 당시에 신경망 학습 연구를 했다. 과거에 트랜지스터도 물리학자들이 발명한 뒤에 공학자들에 의해 미세화되면서 전기전자공학을 뒤집어 놓은 건데, 첫 발명자인 물리학자들이 노벨 물리학상을 받은것에 사람들이 큰 이의는 없듯이... 인공지능도 전혀 다르지 않은데 사람들이 잘 몰라주는 듯해서 아쉽다.

수차례 언급했듯이 딥러닝의 기초 원리(뿐만 아니라 self-supervised learning, transfer learning 등을 비롯한 상당수의 현대적 학습기법까지)는 인공신경망에 있어서 비선형 신경 동역학 관점의 간접화, 역전파법의 적용, 연산방법 혁신 및 하드웨어 연산량의 증대 등을 거쳐서, 딥러닝이 현실화되기 한참 전인 90년대경에 상당부분 수립되어 있었다. 그리고 그것을 주도한 것은 주로 패턴 기억과 재현에 관심을 가진 통계물리학자, 신경생물학자, 컴퓨터과학자들이기도 했다. 2012년 ImageNet을 계기로 딥러닝이 실현가능한 영역에 들어온 이후의 주요 발명 중에, 내가 아는 한에서 정말로 많이 새롭다고 할수 있는건 어텐션과 트랜스포머 정도일 것 같다.

홉필드는 작년에 우리 통계물리 분야 최고 상인 볼츠만 메달도 받은 바 있는데, 그게 이번 수상의 빌드업이었나 싶기도 하다. 아카데미 상을 받는 영화들이 그전까지 다른 시상식들에서 상을 쓸어담는 레이스를 하면서 분위기를 뜨겁게 달구는 것처럼, 과학계도 각 분야 최고 상을 휩쓰는 흐름이 노벨상 수상에 지표가 되는 그런 게 좀 있는 듯하다. 찾아보니, 또다른 통계물리분야 노벨상 수상자인 Kenneth Wilson과 Giorgio Parisi도 노벨상 받기 이전에 볼츠만 메달을 받은 바 있다.

Facebook에서 이 글 보기: 링크

2024.10.09.

알파폴드(AlphaFold)를 개발한 딥마인드의 데미스 허사비스가 언젠가는 노벨화학상을 받을 거라는 관측은 많았지만, 이렇게 빠르게 시상한 것은 예측을 뛰어넘는다는 평이다. 게다가 딥마인드 외에도, 원래부터 오랫동안 단백질 디자인 및 단백질구조 예측을 해온 대가인 David Baker도 수상을 했다.

(여담이지만 데미스 허사비스의 재미있는 경력에 대해서 이전에 포스팅한 바 있다. hapseda 블로그 링크, 본 블로그 링크)

물론 Baker는 단백질 연구에 대한 장기간의 큰 기여에 따라 종합적으로 받았다고 보아야 하기는 하며, 노벨상 공식 시상 취지에서는 단백질 디자인 쪽이 더 강조되어 있다. 그러나 알파폴드처럼 AI를 써서 단백질 구조 예측의 대혁신에 주요하게 기여한 연구로서, 2021년 게재 이후 순식간에 Baker의 현시점 최다 인용 논문이 되어버린 로제타폴드(RoseTTAfold)는 다름이 아니라 서울대학교 백민경 교수님이 Baker 그룹에 포닥으로 계실 때 1저자로 직접 개발하신 것이다.

로제타폴드 논문은 당시 알파폴드2랑 같은 날에 출판되어 큰 화제가 되었다. 나는 운좋게도 로제타폴드가 세상에 본격적으로 공개되기도 전에 백민경 교수님의 세미나를 들어 볼 기회가 있었는데 (관련 글 링크 - 클래리티와 로제타폴드: 한국출신 유명과학자들의 강연을 들었던 귀중한 경험들), 비록 백 교수님께 노벨상이 직접 주어지지는 않았지만, 그래핀과 위상부도체라는 2개의 분야에서 빼놓을 수 없는 업적을 세우신 김필립 교수님을 비롯한 몇몇 분들과 더불어서, 노벨상 업적과의 학문적 거리가 가장 가까운 한국인 중 한 분이 되신 듯하다.

Facebook에서 이 글 보기: 링크

2024.10.09.

인공신경망의 패턴학습에 대한 물리학적 연구는 오히려 옛날에 상전이, 무질서계의 이론 등을 바탕으로 꽤 널리 이루어졌었고 (물론 물리학자들의 것만은 아니고 컴퓨터과학, 신경과학/인지과학 등과 함께) 그런 연구들이 축적되고 발전해서 지금처럼 된 것이라, 일각의 잘못된 이해처럼 홉필드 등의 연구의 사소한 연관성을 바탕으로 이제 와서 억지로 물리와 엮는다고 보기는 어렵다. 오히려 인공신경망 연구의 중심에서 통계물리학이 주도해 온 역사가 있으며 당대에 인공신경망 연구는 명백한 물리학의 한 연구 주제로 취급되었다.

관련해서 이전에도 이미 Facebook에 업로드한 적 있지만, 그 시절에 한국어로 나왔던 논문 하나를 캡쳐해서 첨부한다 (김형균, 권철안, "서로 다른 구조를 가지는 신경망 사이의 학습," 새물리 39, 6 (1999)., 첫 페이지는 하단에 캡쳐). 현재 딥러닝과의 공통점 및 차이점들에 주목해 보면 어떤 느낌이었는지 알 수 있을 것이다.

이외에도 내 서재에는 이런 주제들로 된, 국내기관인 APCTP에서 발간한 당대의 국제 프로시딩집도 있는데, 이 프로시딩집이 왜 나한테 흘러들어왔는지는 잘 모르겠다.

이 시절에는 인공신경망을 제안하고 개선하는 것과, 그 작동원리를 분석하고 입증하는 것 사이의 거리가 지금보다 가까웠던 것으로 보인다. 그런데 지금은 인공신경망을 실제로 발전시키는 연구와 인공신경망의 성능의 비밀을 설명, 분석하는 연구 중 전자는 다들 알다시피 어마어마하게 성공하며 커졌고, 우리 통계물리학의 역할은 주로 후자 중에서도 일부분을 담당하고 있는 듯하다.

지금보다 더 모를 때에 나열 식으로만 썼던 글이긴 한데, 후자의 방향에서 물리학자들의 현재 이론적 관심사에 대해 22년도에 개인적으로 정리해 본 글이 있다 (머신러닝의 물리학: 개괄 및 문헌 소개).

조만간 쓸 기회가 있겠지만, 해당 글에는 없지만 보다 최근에 부상하는 또다른 관점 중에는 바로 고차원 잠재공간의 기하학에서 오는 뉴럴넷의 우수한 표현능력(expressibility)을 무질서계의 통계역학을 통해 분석하는 것도 있다. 이는 사전학습된 거대 모델을 활용하는 최근의 딥러닝 흐름에도 상당히 부합하는 이론적 연구방향으로 보인다.

물리학적 방법 외에 Neural Scaling Law 쪽을 비롯한 대규모 실험연구나, 수학적 증명을 통해 성능을 설명하는 연구, 프롬프팅을 통해 마치 인간 행동을 연구하듯이 LLM을 평가하는 연구 등 여러 방법으로 펀더멘털한 연구들이 많은데, 이들은 실제 딥러닝 업계와 보다 활발히 교류하는 듯하다.

Facebook에서 이 글 보기: 링크

Simple script for solving matrix equations via Mathematica

Using the Solve[...] function provided by Mathematica, users can solve matrix equations. For example, a set of matrix equations \(AC+CA^\mathrm{T} = 2D\) and \(C=C^\mathrm{T}\) will be solved below.

AMatrix = (* define a matrix *);                           

                                                           

Diff = (* define a matrix *);                              

                                                           

n = (Dimensions[AMatrix][[1]]);                            

                                                           

CMat = Array[x, {n, n}]; (* set proper dimension *)        

                                                           

Csol = Solve[                                              

   AMatrix.CMat + CMat.Transpose[AMatrix] == (2*Diff) &&   

    Transpose[CMat] == CMat                                

    (* replace this with your own equations *)             

, Flatten[CMat]];                                          

                                                           

Cvec = Array[x, {(n*n), 1}];                               

                                                           

For[i = 1, i < ((n*n) + 1), i++,                           

  Cvec[[i, 1]] = Csol[[All, i, 2]][[1]];                   

  ];                                                       

                                                           

CMat = Transpose[ArrayReshape[Cvec, {(2*n), (2*n)}]];      

This is a convenient and neat way to solve matrix equations. Indeed, one should always care about the existence and (non-)uniqueness of the solutions, which Mathematica may fail to address completely. Also note that fully symbolic calculations are quite heavy.

지중해의 휴양지, 코르시카 꺄흐제즈(Cargèse) 여름 학교에 가다!

여기에 와서 유럽 학생들이랑 어울리겠다고 처음으로 WhatsApp이랑 PayPal을 다 깔아봤다.

지금 참석 중인 Summer School은 지중해의 코르시카 섬에 있는 Cargèse라는 마을에서 열리고 있다. 교과서적 프랑스어 발음으로 말하자면 꺄흐제즈 정도일 텐데 여기 사람들은 그냥 카르제스 정도로 부른다. 코르시카의 최대도시인 아작시오(Ajaccio)에서 셔틀버스를 타고 산악지대 풍경을 보면서 굽이굽이 길을 따라 1시간 정도 오면 도착한다.

여긴 통신이 잘 안 터질 때가 많고 에어컨이랑 찬 음료가 없어서 좀 지치긴 한다. 아이스 바닐라 라떼와 제로콜라가 그립다... 내가 있는곳은 숙소 겸 학회장소 (IESC, Institut d'Études Scientifiques de Cargèse) 인데, 주변엔 아무것도 없고 정말 이 시설뿐이다. 손전등 들고 30분 정도 산길을 걸으면 상점과 식당이 있는 중심가가 있어서 저녁은 거기서 먹는다. 거기도 말이 중심가지 인구가 1300명 정도 된다고 한다. 살면서 와 본 모든 곳 중 제일 외진 듯.

물론 멋진 점이 훨씬 많아서, 위와 같은 약간의 불편함들도 낭만으로 느껴진다. 밤이 되면 수많은 별들이랑 심지어 은하수까지 흐릿하게나마 보일 정도로 하늘이 깨끗하고 (12일 밤에는 페르세우스 유성우도 떨어진다고 해서 무척 기대 중이다), 이 일대에 말 그대로 우리밖에 없다 보니, 바닷가가 꽤 넓은데도 굉장히 프라이빗하고 깨끗하다. 엄청 오랜만에 사람들과 어울려서 해수욕 해 봤다. 그리고 빌리지가 멀다보니 아침 점심은 다 숙소에서 해결하는데 메인메뉴 작은 거 하나에 과일, 요거트, 빵 정도라서 뭔가 살 빠지고 건강해지는 느낌이 든다. 더워서 숙소 창문은 활짝 열고 자는데, 바닷가 + 산골인데도 곤충이나 뱀이 안 들어오는 것도 신기하다. 섬 자체에 뱀은 좀 있긴 하지만 독사는 없다고 한다. 밤길에 보면 도마뱀이랑 박쥐는 있다.

그렇다면 왜 스쿨을 이 곳에서 하는가? 이 스쿨은 나도 무척 관심 많은 곳인 룩셈부르크 대학의 통계물리, 생물물리 그룹들에서 주최하는 것인데, 코르시카가 약간 유럽인들에게는 제주도 포지션이라 그쪽 교수님들이 휴양 겸해서 하려고 여기로 잡은 것 같다. 그런데 찾아보니 그뿐만이 아니라 이 IESC라는 곳 자체가 1960년대에 출범해서 그때부터 이런 학회를 꾸준히 호스팅해온 근본있는 시설이라고 한다.

특히 이론물리학자 헤라르뒤스 엇호프트(Gerardus t'Hooft, 아직도 살아 계시고 작년인가에 한국이 주최하는 워크숍에서도 강연하심)가 이휘소 박사님의 강연을 듣고 영감을 받아 후일에 노벨상을 받게 되는 업적을 이룬 게 다름이 아니라 여기 카르제스 스쿨에서 일어난 일이라고 한다. 여기 시설에 뭔가 연혁이 써 있거나 흔적이 있거나 하지는 않던데, 그래도 그런 역사가 일어난 곳이라고 하니 반갑고 뜻깊다는 생각이 들었다.

아무튼 21일에 한국 돌아가자마자 삼척에서 invited talk 하는 게 있어서 맘 편히 있지는 못하고 그것도 틈틈이 준비 해야 되기는 하지만, 다시 오기 힘든 좋은 곳인만큼 스쿨 참여도, 휴양도 즐겁게 한 뒤에 귀국해야겠다.

Facebook에서 이 글 보기: 링크 (사진 포함)

뜻밖에 마주한 앨런 소칼의 이름

8월에 있는 세미나를 준비하기 위해 우리 비평형 통계물리학 분야의 논문(M. Esposito and M. Polettini, "Effective thermodynamics for a marginal observer," Phys. Rev. Lett. 119 (2017))을 읽고 있는데, 참고문헌에 '지적 사기'로 유명한 앨런 소칼(Alan D. Sokal, 위키백과 문서: 링크)의 이름이 있어서 뜻밖의 조우에 반가움을 느꼈다.

이분이 지적사기 논쟁 말고 수리물리학자로서의 본업에서 어느 분야를 연구하는지는 잘 몰랐는데, Google Scholar를 찾아보니까 통계역학 및 장론에서 등장하는 그래프이론 및 조합론적 이슈를 다루는 게 제일 main interest인 것 같다. 캡쳐한 논문에서도 state간의 transition을 나타내는 그래프에서 뭔가를 잘 분해해서 계산하기 위한 contraction principle 관련해서 소칼을 인용하고 있다.

커리어 대부분 미국에서 훈련받고 재직했지만 2006년부터는 영국 UCL에 재직 중이고 현재도 꽤 활발하게 전공분야 논문이 출판되고 있다. 수리물리학을 다루는 데 있어서 수학과랑 물리학과의 구분이 유난히 흐린 편인 영국 학계 특유의 색깔에 굉장히 잘 어울리는 연구 스타일을 가진 분인 듯하다.

Facebook에서 이 글 보기: 링크