[Deepest S18 Seminar] Geometry of solution space: Flat minima, replica theory and mode connectivity

    Last Saturday, I hosted a seminar at Deepest (an SNU student deep learning club). I mainly focused on theoretical topics related to the loss function landscape in deep learning and the concept of flat minima, and briefly covered some additional topics on global geometry.

    The loss function \(L\left(\theta; \{x_\mu\}_{\mu=1}^P\right)\) is a function of numerous weights \(\theta$\) of a neural network, and the "landscape" of this function is determined by the dataset \(\{x_\mu\}_{\mu=1}^{P}\). S. Hochreiter proposed that, models that lie in 'flat minima' of the landscape generalize better (S. Hochreiter and J. Schmidhuber, NIPS (currently NeurIPS) 1994).

    The geometric intuition supporting this argument is simple: in order to make the loss landscape not distorted too much under a dataset change (training set -> test set), the model should lie on a broad region of the loss. This also agrees with the discussion on model complexity in the context of statistics and information theory, which says that simple models generalize better (ICLR 1995).

    In fact, one can show that maximum a posteriori (MAP) inference is equivalent to the minimization of cross-entropy loss while keeping the model simple (L2 regularization when \(-\ln P(\theta)\propto \theta^{2}\)). This is exactly what we do at deep learning. Moreover, this is also equivalent to the idea of minimum description length (MDL), which states that the total number of bits needed to identify the model and data should be as small as possible.

    The authors show that finding flat minima (whose loss values of the neighborhood are similar across as large as possible volume) is also linked to MDL. They further suggest a gradient descent method which is intentionally biased to prefer that kind of minima, which leads to good generalization.

    Research on flat minima is still continued in contemporary deep learning era. Nowadays it is widely accepted that, SGD natively prefers flat minima without adding any bias. There are also a few works rigorously connecting flat minima with generalization performance based on the PAC-Bayes framework.

    Another active line of research analyzes the global geometry of the disordered solution space of deep learning using statistical physics (E Gardner, J. Phys. A: Math. Gen. (1988)). They start from a simple perceptron model with random data, but they have been extended to more realistic architectures and datasets. In this paradigm, the frequently appearing factor \(\alpha=P/N\) (\(P\): data size, \(N\): model size) is crucial for the collective behavior of the neural network. For example, for random dataset, when α is small (large), the space of solutions tends to be connected (fragmented), which can be roughly related to flat minima. Moreover, at the limit where \(\alpha\) is finite but \(N,P\) goes to infinite, an accurate explicit formula of train loss for practical dataset (MNIST, etc.) is obtained.

    Lastly, this method can theoretically reproduce the renowned '(linear) mode connectivity' (PRL 2023) which is empirically reported in deep learning at the late 2010s, and furthermore predict that the structure of the connected region is star-shaped.

See this post on LinkedIn: link

See this post on Facebook: link

(국문)

    지난 11월 15일(토요일)에 서울대학교 딥러닝 동아리 Deepest에서 세미나를 호스팅했습니다. 딥러닝의 손실함수(loss function) 지형과 flat minima에 대한 이론적 주제를 자세히 다루었고, 보다 광역적인 구조에 대한 몇 가지 추가 주제도 소개하였습니다.

    손실함수 \(L\left(\theta; \{x_\mu\}_{\mu=1}^P\right)\)는 신경망 연결의 수많은 가중치 \(\theta\)를 정의역으로 갖고, 이 함수의 모양, 즉 "지형"(landscape)은 데이터셋 \(\{x_\mu\}_{\mu=1}^{P}\)에 따라 다르게 결정됩니다. 손실함수 지형 위의 한 점을 선택하는 것은, 신경망 가중치들이 확정되므로 모델을 확정하는 것과 같습니다. 대표적인 시계열 처리 모델인 LSTM의 제안자이기도 한 Sepp Hochreiter는 NIPS (현 NeurIPS) 1994에서, 손실함수 지형의 flat minima (평탄한 최소점) 에 위치한 모델이 일반화(generalization) 성능이 좋을 것이라고 제안하였습니다 (S. Hochreiter and J. Schmidhuber, NIPS 1994).

    이 논의의 근거가 되는 기하학적 직관은 간단합니다. 데이터셋이 training set에서 test set으로 바뀔 때에 그럼에도 불구하고 손실함수 지형이 덜 뒤틀리려면, 따라서 원래 모델에서 평가되었던 손실함수 값이 많이 바뀌지 않으려면 (즉 일반화를 잘 하려면) 모델은 지형의 널찍한 영역에 있어야 한다는 것입니다. 아래에서 MDL 개념을 바탕으로 보다 자세히 쓰겠지만, 이는 통계학 및 정보이론에서 model complexity와 관련하여 논의된, '단순한 모델일수록 일반화를 잘 한다'는 논의와도 일관적입니다 (J. Schmidhuber, ICLR 1995).

    베이즈 추론 맥락에서 최대사후확률(maximum a posteriori, MAP) 추론이, cross-entropy loss를 최소화하면서도 모형을 간단하게 유지하는 것(\(-\ln P(\theta)\propto \theta^{2}\)일 때 L2 regularization)과 동등합니다. 이것은 다름이 아니라 딥러닝에서 우리가 많이 하는 일입니다. 상상 속에 존재하는 매끄러운 data distribution과 달리 실제로 기계에게 주어지는 것은 개별적인 샘플들(즉 델타함수 분포)뿐임을 고려하면, 이렇게 simple model을 추구하는 것은 일반화에 매우 중요하다고 하겠습니다. 그런데 더 나아가서, 이것은 모형을 고르는 원리 중의 하나인 miminum description length (MDL), 즉 모델과 데이터를 기술하기 위한 비트 수의 총량이 가능한 한 작아야 한다는 원리와도 동치입니다.

    저자들은 flat minima를 찾는 것, 즉 최소점 중에서 그 주변에 자기 자신과 같은 loss 값을 갖는 점들의 부피가 가능한 한 많은 최소점을 찾는 것 역시 MDL과 관련됨을 보입니다. 더 나아가서, 그러한 minima를 선호하도록 의도적으로 bias된 새로운 gradient descent 방법을 제안하고 이를 통해 일반화를 잘 하는 모델을 찾을 수 있다는 것을 확인합니다.

    Flat minima와 관련된 연구는 딥 러닝이 정보기술의 전면에 등장한 현대에도 계속되고 있습니다. 최근에는 SGD가 별도의 의도적인 편향 없이도 그 특유의 통계학적, 동역학적 특성에 의해 native하게 flat minima를 선호하는 경향이 있다는 것이 상당히 널리 받아들여집니다. SGD는 단순히 batch size를 줄여서 최적화 과정을 효율화할 뿐 아니라, 그 결과로 보다 더 좋은 minima에 도달할 수 있게 해 준다는 것입니다. 최근에는 flat minima와 일반화 성능을 PAC-Bayes 프레임워크를 이용해서 보다 엄밀하게 연관짓는 일들도 있습니다.

    전통이 있으면서 현재까지도 활발한 또다른 연구의 흐름은, 딥 러닝의 무질서한(disordered) 해 공간의 광역적 구조를 통계역학을 이용해서 분석하는 것입니다 (E Gardner, J. Phys. A: Math. Gen. (1988)). 이러한 이론적 연구들은 주로 간단한 단일 퍼셉트론 및 랜덤 데이터셋과 같은 간단한 상황에서 출발했지만, 점점 보다 복잡하고 사실적인 상황들에 대해 적용되며 딥러닝에서 나타나는 현상을 상당히 잘 설명해냅니다. 이 패러다임에서는 \(\alpha=P/N\)라는 팩터(\(P\): 데이터셋 크기, \(N\): 모델 크기)가 자주 중요하게 등장합니다. 특히 \(\alpha\)를 유한하게 유지하되 \(N,P\) 모두 무한대로 보내는 극한에서 (수백~수천 차원에서 이미 실제 실험 결과들과도 꽤 잘 맞는 경우가 많습니다) 신경망의 많은 중요한 성질이 통계역학적으로 예측됩니다.

    이를테면, 랜덤 데이터셋에서, \(\alpha\)가 작을수록 퍼셉트론 분류 문제의 해들(보다 사실적인 신경망에서는 region with low loss)들이 서로 연결된 경향이 있고, \(\alpha\)가 클수록 해들이 쪼개져 있는(fragmented) 경향이 있습니다. 이는 통계역학 맥락에서 각각 replica symmetry (RS) 및 그 breaking (RSB)에 대응됩니다. Flat minima와의 관계도 생각해 볼 수 있습니다. 물론 flat minima는 국소적인 개념이고 RS/RSB는 훨씬 광역적인 개념이므로 일대일 대응시키기는 어렵지만, rough한 관계는 있을 것이라고 기대하고 Franz-Parisi entropy 등을 통해 보다 광범위하게 확인해야 할 것입니다.

    마지막으로, 이 통계역학적 방법은 2010년대 후반부터 딥 러닝 이론 커뮤니티에서 경험적으로 많이 보고된 '(linear) mode connectivity'를 이론적으로 재현해내기도 합니다. 이는 손실함수 지형 상에서 작은 loss 값을 갖는 영역들이 평평한 직선 경로를 통해 매우 넓게 연결되어 있다는 관찰을 뜻합니다. 그리고 나아가서, 이러한 연결 구조가 별 모양이라는 새로운 이론적 예측도 하며 (B. L. Annesi et al., PRL 2023), 이러한 예측을 보다 실제적인 신경망에서 확인하려는 시도도 이어지고 있습니다.

깁스 역설: 개수를 세서 물리학을 하기, 그리고 측정의 형식에 알맞게 생각하기

고등학교 때 했던 생각이 있다. 사람들은 흔히 '사과의 개수를 세는 것'을 수학 교과서에 나오는, 수학의 전형적인 예제로 생각한다. 하지만 내 생각에 굳이 따지면 사과의 개수를 세는 것은, 자연수라는 형식체계를, 이산화하기 쉬워서 자연수로 잘 기술되는 사과라는 현실세계의 대상에 적용했다는 점에서 엄연히 가장 원초적인 '물리학'에 해당하는 것 같다.

물론 수학교육에서 현실 예시를 들어가면서 하는게 학습에 중요하다거나 하는 게 있을 테니... 사과의 개수 세기를 진짜로 과학교과서로 옮겨야 된다는 건 아니고, 그냥 내 머리속의 농담 같은 관념적 재분류일 뿐이다.

그런데 사실 내 전공분야인 통계물리학 또한 결국에는 개수를 세는 것이다. 시스템의 디테일에 크게 상관없이 개수만 잘 세어도 꽤 많은 물리적 성질들을 얻을 수 있다는 메시지가 있다.

물리학이라고 하면 뭔가 시공간 위에서 연속적인 것을 다루기 위해 미적분을 열심히 해야 할 것 같은데, 개수 세는 것만으로 물리를 할 수 있다니 이상하게 느껴질 수 있으나, 사실 그 spirit은 사과의 개수를 세는 원초적인 물리학에서부터 예고되고 있는 것이다. 물론 통계물리학에서는 대상의 개수를 세는 게 아니라 그 대상들의 배열이 이루는 state의 개수를 세는 것이므로 조금 더 추상적이기는 하다.

이게 공연히 오랜만에 다시 생각난 이유는, 요새 지인에게 Gibbs paradox를 공부해서 소소하게 가르칠 일이 있어서, 개수를 세는 것에 대해 계속 고민하다 보니까 그랬던 것이다.

Gibbs paradox는 입자들이 이루는 상태의 개수를 셀 때 입자 종류의 구분불가능성 (쉽게 말해 순열permutation을 조합combination으로 바꿔주는) 을 정당화하는 근거가 무엇인지에 대한 질문이다. 두 종류의 기체가 서로 분리되어 있다가 섞일 때 엔트로피가 증가하는지 여부와 관련된 paradox of mixing과도 궁극적으로 동일한 문제인데, 생각할수록 이상한 점들이 많아서 결코 간단한 문제가 아니고 굉장히 흥미롭다.

이에 대해 내가 통계역학을 여러 해에 걸쳐 접하면서 나름대로 고민해서 가지게 된 결론의 얼개가, Jaynes라는 물리학/통계학/정보이론 쪽에서 유명한 분의 견해와 거의 같다는 걸 이번에 알게 되어서 꽤나 뿌듯하기도 했다.

그 결론을 대략 요약하자면 다음과 같다. 입자들이 구분불가능한지 여부를 다르게 생각했을 (think different) 뿐인데 엔트로피라는 물리량이 바뀌는 (physics does change) 것은 굉장히 이상해 보인다. 예를 들어 까만색 입자와 흰색 입자를 우리가 구분해서 보겠다고 마음먹으면, 그 두 종류의 입자들이 섞일때 엔트로피는 증가한다. 근데 구분 안하고 통째로 보겠다고 마음먹으면, 서로 섞여도 엔트로피는 증가하지 않는다. 엄연히 객관성을 기해야 하는, 그리고 실험으로 측정이 가능한 physical quantity인데 주관에 따라 달라진다니? 이게 우리가 흔히 역설이라고 생각하는 부분일테다.

그러나 사실 우리가 구분불가능 여부를 전적으로 임의로 정할 수는 없는 것 같다. 우리가 시스템을 관찰하는 device의 해상도 내지는 형식에 따라서, 구분가능성의 여부는 어느정도 제한을 받는다. 그리고 그 세팅 하에서 physical quantity의 측정값을 설명하는 가장 유용한 effective theory가 무엇인지도 정해진다.

단, 이때 주어진 해상도 내지는 형식 하에서 입자의 종류에 대해 얼마든지 얻을수 있는 정보를 일부러 무시하면 안되고 최대한 다각도로 조사를 해야 하는 것 같다. 이렇게 하면 'think'와 'physics' 외에도 'probe' 라는 새로운 층위가 들어오게 되고, 여기서 'probe different' -> 'physics does change' 는 비교적 자연스러워 보인다.

그렇다면 think 부분은 어떻게 되는 건가? 내 생각에 'think'를 완전히 임의로 할 수가 없고 우리가 가진 'probe'의 형식에 알맞게 올바르게 think해야 하며, 그렇게 하면 우리의 이론은 우리가 가진 probe 상에서의 올바른 physics를 준다. 그리고 probe가 바뀌면 그에 맞게 physics가 바뀌는 것 같다.

예컨대 나는 만약에 원자 하나하나에 이름표를 붙이고 그것들의 운동을 일일이 쫓아갈수 있다면 열heat은 모두 일work이 되고, 우리가 흔히 보는 스케일에서 엔트로피라는 개념은 없어진다고 생각한다.

(그런데 10^23개 기체 입자에 서로 구별되는 이름을 붙이려면 최소한 원자 76개 길이의 binary sequence 꼬리가 필요하고... 그런데 충돌 전후에도 그 꼬리표가 안 파괴되고 안정적으로 유지되려면 꼬리표의 크기가 훨씬 커야 할 것이고... 이런 걸 생각하다 보면 왠지 저런 일이 근본적으로 forbidden되는 이유가 있을 듯. 아닐 수도 있고 말이다)

또한, 두 종류의 기체 입자가 서로 무게가 다르다거나 (심지어 고전적인 공(ball)들인데 색깔(!?)이 다르다거나) 해서 혼합 전후에 물리현상에 변화가 생길 가능성이 있으면, 가능한 모든 수단을 동원해서 실험해 보면 그 차이는 측정이 되는 것이므로, 그것을 일부러 무시하고 구분불가능하다고 하는 건 wrongly think different하는 것 같다. 이것은 다름아닌 mixing paradox로서, 바로 위 문단에 말한 예시보다 조금 더 미묘한 듯하다.

Gibbs paradox로 돌아오면, 자유 공간을 떠다니는 이상기체 분자들에서 엔트로피를 1/N! 으로 나눠 주는 게 양자역학적 입자들의 구분불가능성 (identical particles) 때문이라고 하는 게 아주 틀린 말은 아닐 수 있다. 그런데 일단 눈에 보일 정도의 기체 덩어리는 완전히 thermalize 되어 있고 전혀 coherent하지 않을 텐데 양자적 구분불가능성이 과연 relevant할지 살짝 의문이기도 하거니와 (이부분은 그냥 내가 양자를 잘 몰라서 그런 듯), 사실 꼭 coherent한 wavefunction으로 기술되는 양자역학적 입자가 아니더라도, 입자의 종류 차이가 우리가 가진 device에서의 measurable physics에 영향을 안 준다면 얼마든지 구분이 불가능할 수도 있는 것이고, 그럴 때에는 양자역학적 입자들과 마찬가지로 계산상으로도 구분을 안해주는 게 맞는 듯하다.

원자나 분자 같은 기본 입자들의 살짝 특별한 점은, 축구공이나 농구공처럼 자세히 들여다보면 서로 조금씩은 다른 일상 속 거시적 물체들과 달리 (애초에 그런 물체들이 따로따로 떠다니면서 10^23개씩 모여 있을 수 없기는 하지만) 정말로 fundamentally identical해서 probe의 해상도에 무관하게 구분이 불가능하다는 것.

물론 극히 최근에는 Gibbs paradox를 resolve하는 방법과 관련해서, 일본의 Shin-ichi Sasa 교수님의 연구팀에서 2021년에 Journal of Statistical Physics에 게재한 논문(Quasi-static Decomposition and the Gibbs Factorial in Small Thermodynamic Systems, 링크)을 비롯한 대안적인 논변들도 있다. 이 부분은 잊어버려서 한번 더 살펴봐야겠다. 아무튼 이런 게 아직도 연구 중인 open question이라는 점이 인상깊다.

이렇듯 개수를 어떻게 셀 것인가 하는 원초적인 문제가, 비가역성과 열역학 제2법칙의 근원이라는 통계역학의 가장 근본적이고 머리아픈 문제와도 연관이 되어 있다는 점은 대단히 흥미롭다.

여담이지만 나는 현재 주목받는 딥러닝이 대체 왜 이렇게 성공적인지에 대해서도, 디테일을 제하고서도 고차원 공간에서의 counting을 통해 약간은 감을 잡을 수 있다고 생각한다. 실제 근거가 되는 연구 리포트들도 있다. 통계물리학을 이용하여 딥러닝의 작동원리를 부분적으로 설명하는 성공적 시도들이 꽤 많은 것도, 바로 이런 공통점 때문이 아닐까 상상을 해 본다.

흔히 양자역학에서 관측 여부에 따라 물리가 달라지는 게 이상하다, 관측이라는 게 대체 무엇인가 하는 고민이 대중적으로 잘 알려져 있다. 그러나 내 생각에 이 Gibbs paradox 문제가 비가역성의 근원 문제와 연결되는 지점을 비롯한 여러가지 통계역학적 고민들이야말로, 양자역학의 관측 떡밥에 만만치 않게 미묘하고 재미있으면서, 우리의 거시적이고 일상적인 고민들 (microstate와 macrostate를 정의하는 문제 -> 로또번호 다른 것들은 잘만 나오면서 123456은 왜 안나올까 등등) 과도 훨씬 깊게 연관이 되는 것 같다.

Facebook에서 이 글 보기: 링크

Review on "A statsitical mechanics framework for Bayesian deep neural networks beyond the infinite-width limit"

옆 연구실에서 주도하시고 우리도 참여하는 이론기계학습 공부 모임에서, 이번에 나는 폴란드 출장에서 돌아온 직후인 10월 초에 발표를 하게 되었다. 이번에 소개할 논문은 NNGP (neural network as Gaussian process), NTK (neural tangent kernel) 류의 접근이 finite width라는 보다 현실적인 상황에서 어떻게 수정되는지를 이론적으로 살펴본 논문이다 (S. Ariosto et al., arXiv:2209.04882).

방법론으로서 통계역학이라는 것은 결국 엄청 커다란 state space에서 확률분포함수를 끼고 적분하는 것을 N이 무한대로 가는 극한에서 편리하게 계산하는 여러 테크닉들이라고 볼 수 있다. 이 논문에서도 overparametrized NN을 이론적으로 분석할때 나오는 커다란 적분들을 통계역학적으로 처리한다.

아직 끝까지 읽지는 못했는데, 데이터셋의 크기 P가 input dimension N0보다 크고 그 ratio가 상수로 유지되되 (overparametrized), 각각이 무한대로 가는 나름대로 현실적인 regime을 다룬다. 이는 NTK regime에 비해 발전된 것이다. 여기서 통계역학을 적용해서 적분을 잘 계산한 다음에, Breuer-Major theorem이라고 하는 비선형 함수들의 합에 대한 일종의 일반화된 중심극한정리를 통해 몇 가지 흥미로운 결론을 얻는다.

특히 hidden layer가 1개인 뉴럴넷에 대해서는 분배함수가 exact form으로 계산되어 풍부한 이론적 분석을 해 볼 수가 있으며, 또한 finite-width에서는 NN이 Gaussian process 대신 student-t process에 해당한다는 꽤 그럴듯한 논의를 한다.

사실 이 논문을 요새 스터디를 함께하는 옆 연구실 선생님의 소개로 알고 나서, 도쿄에 학회 갔을 때 이 저자 중 한 명의 포스터발표를 직접 들었다. 네이쳐 계열 저널 중에도 머신러닝 관련 저널이 있는데 거기에 낼 예정이라고 했던 것 같다.

(+추가: 네이쳐 계열의 머신러닝 관련 저널인 Nature Machine Intelligence에 2023년 말에 출판되었다. 이에 따라 본 포스트의 제목도 출판된 해당 버전의 논문 제목으로 변경하였다.

Nature Machine Intelligence 저널에서 논문 보기: 링크)

230915 NEST meeting 발표 후기 (Review on “Thermodynamic constraints on the power spectral density in and out of equilibrium”)

NEST meeting은 고등과학원 통계물리분과 교수님들 앞에서 학생들이 재밌게 읽은 논문을 ppt로 만들어서 소개하고 디스커션 하는 모임이다. Informal atmosphere의 모임이라고 하지만 ppt에 있는 계산 과정이 납득이 될 때까지 한줄 한줄 함께 봐주시기 때문에, 모임 준비의 주관적인 존재감은 꽤 큰 편이고 많은 공부가 된다.

이번에 내가 소개한 논문(링크: arXiv:2306.00417.)은 일본 교토대의 Andreas Dechant가 이번에 올린 아카이브 프리프린트인데, 확률적 물리계에서 Power Spectral Density (스펙트럼, 쉽게 말해 주파수별 신호의 세기) 의 모양이 열역학적 원리에 의해 제약이 된다는 꽤 멋있는 논문이다 (슬라이드 첨부, 하단에 내용 요약).

시스템의 PSD를 보는 것, 즉 무작위 시스템을 주파수 영역에서 분석하는 것은 시스템의 특성 이해에 매우 유용하므로 통신, 소자 및 여러 물리분야에서 표준적으로 쓰인다. 우리 비평형 통계물리 분야에서도 20세기 초중반에 확립된 linear response theory에서 이러한 접근이 많이 발달했다. 특히 fluctuation-dissipation relation은 계가 평형에 있을 경우, 계에 가해지는 요동의 PSD와, 계가 외란에 응답하는 방식이 주파수 영역에서 특정한 함수관계를 만족해야만 한다는 것을 알려주어 이론과 실험 양쪽에서 무척 유용하다.

그러나 참 이상하게도, 20세기 최후반에 등장하여 현재까지 활발히 연구되는 새로운 도구인 '확률열역학'(stochastic thermodynamics) 에서는 2005년의 Harada-Sasa relation 정도를 제외하고는 주파수 영역에서의 접근이 영 드물었다.

확률열역학에서는 주로 평형으로부터 미소하게 멀지 (linear response regime) 않고, 임의의 큰 정도만큼 멀리 떨어진 (far from equilibrium) 계를 다루며, 이때 비평형의 정도를 정량화하는 방법은 결국 비가역성의 척도인 '엔트로피 생성량'이다. 비평형에서만 가능한 여러 에너지 및 물질의 흐름들과 이례적 응답 방식들이 있는데, 이들이 선명하게 나타나려면 그에 상응하는 충분히 큰 엔트로피 생성량이 필요하다. 이를 명시적으로 밝힌 TUR, speed limit, EB 등의 부등식들이 지난 10년에 가까운 시간 동안 여럿 등장했다. 주파수 영역에서도, 이처럼 엔트로피 생성량에 의해 PSD의 모양이 제약되는 현상이 있다면 좋을 것이다.

이 논문에서는 PSD의 꽤 복잡한 표현식과 그것에 대한 더욱 복잡한 변분 표현 (variational expression)을 바탕으로, 임의의 확률적 계에서 PSD의 그래프가 가질 수 있는 상한선과 하한선을 제시한다.

과정의 세부는 매우 복잡하지만, 기본 아이디어를 기억하면 좋은 가이드라인이 된다: PSD의 푸리에 역변환인 autocorrelation function은 계가 시간에 따라 relax되는 (혹은 비평형의 경우 진동하는) 구조를 알려준다. 가만히 있는 것 같은 시스템도 시간에 따른 변화를 겪고 있으며, 그러한 동역학적 구조를 보기에 가장 좋은 방식은 바로 조건부확률이다.

이러한 조건부확률의 푸리에 변환을 바탕으로 PSD가 상당히 우아한 quadratic form 형태로 써지는데, 이에 대한 또다른 ㅡvariational한ㅡ 표현을 억지로 찾은 뒤에, 그 표현상에서 영리하게 '덜 optimize' 함으로써 PSD의 상한과 하한을 얻게 된다. 슬라이드에서 볼 수 있듯이 상한과 하한 모두 굉장히 스펙트럼스러운(?), 1/(a^2 + w^2) 형태를 가지므로, PSD의 asymptotics를 얘기하기에 아주 좋은 구조이다.

여기에 등장하는 상수들에도 물리적 의미를 부여해볼수 있는데, 1/lambda*의 경우, 주어진 시스템에 대응되는 평형 시스템에서의 가장 느린 relaxation time scale에 해당한다. 즉 주어진 시스템으로부터 만들어낼 수 있는 가장 느린, '가장 평형스러운(?)' 시간스케일이라고 할수 있다. 반대로 C_diss의 경우에는 엔트로피 생성의 총량과 직접 관련이 되어, 가장 '비평형스러운' 값이라고 할 수 있다. 이 두 가지 값이 절묘하게 조합되어 PSD의 asymptotics를 이루게 된다.

Facebook에서 이 글 보기: 링크

정보열역학(information thermodynamics) 공부의 계기

최근에 생각중인 주제는 여러 구성요소가 있는 시스템에서 협력 및 동기화라는 현상을 정보 교환이라는 관점에서 보는 것이다. 물리학에서의 정보라는 것은 일상에서의 정보와 상당부분 통하기는 한다. 그런데 정보가 많다 혹은 적다 라는 것이, 상황과 해석에 따라 일상에서의 의미와 같을 때도 있고 다를 때도 있다 보니 처음엔 상당히 헷갈릴 수도 있다.

통신이론에서 출발하여 전기전자공학에서 널리 언급되는 섀넌의 정보엔트로피가 물리학자들의 엔트로피와 기본적으로 동일한 양이라는 점은 널리 알려져 있는데, 정보열역학이라고 하는 분야는 에너지 교환뿐만 아니라 정보 교환(계의 구성요소가 서로의 상태를 탐지해서 피드백을 주는 것)까지 포함해서 열역학을 기술하고자 하면서 그 둘의 구체적 접점을 보다 비자명하게 탐색한다.

정보열역학 하면 주로 맥스웰의 악마, 질라르드 엔진(Szilard engine) 같은 아주 단순화된 모형계에 대한 연구를 떠올린다. 이것이 2000년대쯤부터는 Sagawa, Parrondo 등의 여러 파이오니어를 통해 연속적 동역학을 가진 시스템들에까지 확장되었고, 극히 최근에는 생체계에서의 정보처리 (정보교환이 있어야 생체 내 과정들이 정밀해짐. Leighton and Sivak 등) 혹은 아예 란다우어 원리를 필두로 한 미시적 계산장치들에 대한 이론적 분석 (Wolpert, Crutchfield 등) 등에도 적용되고 있다. 후자의 경우 나는 아날로그 딥러닝의 효율 분석 및 개선에도 적용될수 있을거라고 전망하고 있다.

내가 정보열역학에 관심이 생긴 것은 정보라는 것이 통계열역학 분야의 외곽에 약간 억지로(?) 들어와 있는 것이 아니라, 시스템을 두 하위 시스템으로 쪼개는 단순한 처리만으로도 매우 자연스럽게 정보의 개념을 고려하게 되므로 상당히 중심적인 양이라는 생각을 하게 되어서 그렇다. 즉, Szilard engine에서의 measurement and feedback을 통한 정보 처리 과정은 사실 아주 특별하고 새로운 것이 아니며, 상호작용하는 여러 구성요소를 가진 물리계라면 으레 존재하는 것이다.

각 하위 시스템에 대해 2법칙을 썼을 때, 전체 시스템에는 정보 개념이 없더라도 각 하위 시스템에 대한 2법칙에는 정보 개념이 들어가게 된다. 만약에 협력하는 여러 개체로 구성된 어떤 기계가 바깥에 유용한 일을 해 줄 때, 각 개체의 열효율을 2법칙에 부합하게 쓰면 그 효율에도 정보개념이 들어간다. 전체 효율과 하위시스템의 효율이 어떤 관계가 있는지, 정보교환이 클때 여러가지 이례적 현상들이 나타나지는 않을지 등을 연구하면 재미있을 듯하다. 이는 우리 연구실의 중심 토픽인 active matter의 집단현상에서도 중요할 수 있지 않을까 생각한다. Active matter가 일으키는 여러 재미있는 현상들의 가장 중심에는 결국 주변 환경에서 특정한 종류의 신호를 강화시키는 정류(rectification) 효과가 있다고 믿고 있는데, 이 정류라는 것이 다름아니라 measurement and feedback과 거의 동일한 것 같기 떄문이다.

일본 쪽 연구자 분들이 특히 잘하는 확률열역학 이론 분야에서, 정보개념까지 같이 생각하는 연구들이 속속 나오고 있는데 이들의 연구를 따라가 보면 좀더 우아하고 보편적으로 이론을 전개하는 방법을 배울 수 있지 않을까 한다. 7~8월에 일본출장이 예정돼 있는데 그 전에 여러가지 질문거리들을 꼭 준비해서 가야겠다.

Facebook에서 이 글 보기: 링크

ICTP-KIAS School on Statistical Physics for Life Sciences 참여 후기

이번 ICTP-KIAS 스쿨(행사 홈페이지: 링크)에서 개인적으로 가장 기대한 연사는 일본의 도쿄대학에서 정보이론과 열·통계역학을 통합적으로 다루는 연구를 하시는 Takahiro Sagawa 교수님이었다. 확률열역학 이론 쪽에서 논문 서칭을 하다보면 이분이 저술한 논문을 상당히 자주 마주치게되고 또한 읽어보게된다. 그러다보니 젊은 나이에 이미 우리 분야에서 큰 상을 받으셨다고 하며, 아직도 사실 굉장히 젊어보이신다. 한국에서 유명한 김상욱 교수님과도 예전에 양자 정보열역학 쪽으로 공동연구를 한 바 있다. 발표도 매우 재밌었고, 후술하겠지만 질문도 여러차례 할 기회가 있어서 인상깊은 시간이었다.

사가와 교수님은 아마 강의 당일인 목요일부터만 참석하신 것 같고, 사실은 화요일 저녁 banquet 때 우연히 그분의 제자들, 그러니까 도쿄대 대학원생들과 함께 앉게 돼서 이야기를 나눴는데 꽤나 재밌었다. 한국에 짧지 않게 오는 건데 여행계획이 있냐는 질문에, 사격장에 가보고 싶다고 꼽은 게 특이했다. 일본에서는 사격장이 없는건 아니지만, 그런 데 가더라도 라이센스가 있는 경우에만 쏴볼 수 있다고 한다. 그래서 한국에 갔을때 해 볼 만한 체험으로 실탄사격이 나름 유명한 모양이다. 한국인들에게도 잘 알려진 남대문사격장을 알려줬는데 역시나 이미 알고있는 눈치였다.

그리고 이번에 오진 않았지만 연구실 학생 중에 한 명은 Yobinori 라는 과학 유튜버를 하고있다고 한다 (Youtube 채널: 링크). 구독자가 90만명 정도니까 아마 일본에서 꽤 이름있는 과학 채널일 듯한데, 일본어로만 제작하다보니 우리는 잘 몰랐었다. 한편 이들도 김상욱 교수님 이름을 안다고 해서, 한국에서 연예인들에게 과학을 설명해주는 등 텔레비젼 스타가 되셨다고 말해주었더니 매우 흥미로워했다.

또한 일본에서 일하는 지인들이 일본 음식 사진을 많이 보내주어서 나도 가고싶고 (초등학교때 한번 부모님 손잡고 갔었고... 이번 8월에 오랜만에 갈 줄 알았는데 코로나로 진작에 취소돼서 못갔다), 한국사람들이 일본 여행을 좋아한다 등등 얘기도 했다. 그렇게 말하니 만약 면요리를 좋아하면 와서 라멘을 꼭 먹어라, 근데 호불호가 있는 두가지 서로 다른 스타일이 있으니 잘 알아보고 가야한다는 답이 돌아왔다.

사가와교수님 발표 얘기를 더 해보자면... 정보 이론과 열역학은 엔트로피라는 양을 중심으로 큰 교집합이 있지만, 또한 각자 다른 픽쳐와 관심사를 가지고있다. 또한 그것들 각각이 기계학습에 대한 이론적 이해에 나름의 방식으로 기여한다. 이번 스쿨의 취지 자체가 (특히 생체시스템에서) 그 모든 것들을 통합적으로 조망 및 이해하는 것인만큼, 정보열역학 분야의 전문가인 사가와 교수의 초청은 스쿨의 목적에 이보다 더 부합할 연사가 있을까 싶을 정도로 매우 적합했다고 보이며 내 흥미에도 맞았다. 여담이지만 사가와 교수님 본인도 이번 발표일정이 코로나 이후 첫 해외여행이라 감회가 남다르다는 식으로 말씀하셨다.

사실 나는 맥스웰의 악마와 정보 엔진 등에 대해 아직까지는 약간 개념적인 사고실험으로만, 혹은 다소 인위적이고 기초적인 실험셋으로만 존재하는 것인줄로 생각해서 개인적으로 큰 흥미를 느끼진 못했었다. 그런데 이번 발표에서는 나로서는 다소 고리타분하게 느껴지는 그런 거시적이고 도식적인 예시에서 출발은 했지만, 궁극적으로는 내게 익숙한 요동치는 small system에 대한 비평형 통계물리학이랑 잘 통합된 픽쳐로 소개해 주시니까 대단히 재밌었다.

그런 픽쳐에서 정보이론적 양들이 에너지적인 양들과 동등하게 다뤄지고, 일반화된 열역학 제2법칙 형태로 깔끔하게 써지는것도 마음에 들었다. 사실 아무리 맥스웰의 악마라도 2법칙을 만족하게끔 통합적으로 써지는건 당연히 그래야 하며 또 그렇게 될 수밖에 없는데, 미시적 비평형계에 대해 내가 파편적으로 찾아봤던 연구들에서는 그런걸 우아하지 못하고 덕지덕지(?) 형식화한 느낌이 있었다. 그런데 그걸 사가와교수님이 최대한 깔끔하게 정리해서 강의 해주신것 같다.

또한 맥스웰의 악마 같은 게 오직 이론물리에서만 관심을 갖는 특이한 상황같은 거라고 잘못 생각할수도 있으나, 사실은 확률열역학의 도구를 빌려 동역학적(dynamical)으로 형식화한다면 생체시스템의 정보이론적, 열역학적 view에도 무척 자연스럽고 풍부하게 적용될수 있다는 내 직관이 확인되는 것 같아서 마음에 들었다. 동역학적 개념으로서의 정보를 다루는 방법으로는 대표적으로 information flow와 transfer entropy가 있는데, 나는 이 두 픽쳐가 commensurable하지 않다고 생각했고, 그 둘중 어느쪽으로 합의가 안되고 공존하는 상황이 예쁘지 않고 불만족스럽다고만 생각했다. 그런데 사실 이 둘은 부등식으로 명확히 관계지어질 수 있다는걸 이번에 알게 되기도 했다.

사가와교수님이 연구를 소개하면서 마지막으로 들어주신 예시는 정보처리 기계로서의 칼만필터(Kalman filter)를 정보열역학적으로 보고 효율을 계산한 연구였다. 정보열역학적 효율개념이, 통계학에서 말하는 충분성의 개념 (sufficient statistics)과 나름대로 자연스럽게 연결이 된다. 내가 학부때 한동안 공부했던 칼만필터 등의 제어이론(control theory)과, 대학원에서 전공하고있는 비평형 통계물리학은 똑같이 확률미분방정식(SDE, 혹은 물리학자들의 용어로는 Langevin 방정식)을 사용한다. 그래서 이쪽으로 비교적 수월하게 넘어올수 있었지만 여전히 그 둘은 분명히 다르다고 생각한다. 그런데 이런 식으로 또 학술적으로 의미있게 관련이 지어지기는 하는구나 싶었다 (그래도 통계물리는 결국 물리고, 제어이론, 통계학, 기하학 등 다른 포말리즘과의 관련성 그 자체에 지나치게 매료되는건 조심해야되긴 한다. 당장 나부터도 그런 포말리즘적 연결을 과도하게 좋아하는 편인데 비해, 학술적으로 새로운 결과를 준다거나 하는건 별로 없는듯해서 일부러 경계하는 중이다).

워낙 기대하던 연사분이다 보니, 그다지 날카로운 질문은 아니지만 뭐라도 질문하고 싶어서 강의 도중, 그리고 강의 직후에 세네 개 정도의 기초적인 질문을 하기도 했다. 첫번째 질문은 핀트가 잘 전달이 안되었는지 만족스러운 답변을 듣지는 못했고, 나머지 답변에서는 매우 명쾌한 답을 들을 수 있었다. 그 내용은 다음과 같다.

(1) 어떤 물리적 시스템이 주어져있을 때 그것을 N개 state로 나눠서 보면 엔트로피의 상한이 log N이지만, 2N개 state로 나눠서 보면 엔트로피의 상한이 log 2N이다. 이는 물리계에 대해 생각만 다르게 했을뿐인데(think different) 물리량 자체가 달라진다는(physics does change) 인상을 준다. 이를 어떻게 이해할수 있는가?

(2) Autonomous한 정보처리 시스템을 소개할때 셋업으로 (i) continuous time을 생각하겠다 (ii) 계 외부로부터의 feedback control이 없는 계를 생각하겠다 이렇게 두가지를 제시했는데, 필연적으로 연결이 되는것인가 아니면 서로 독립적인 조건인가?

-> 문제 정의상으로는 서로 독립적인데, 실질적으로는 closely related되어 있다. 생체 기계들이나 인공 나노기계 등에 적용하기 위해 이러한 셋업을 한것이다.

(3) 세포 같은 걸 생각하면 아무리 autonomous하더라도, 피드백을 주는 demon이 계 안에 있는것일 뿐이지, 에너지 투입은 있어야 되는 것 같다. 내 생각처럼 에너지 주입이 정보처리를 drive하는 것이 맞나?

-> 그렇다. 에너지 주입이 정보처리로 연결되는 과정을 직접 모델링할수도 있다.

(4) 정보에 대한 dynamic한 formulation은 매우 재미있어 보이기는 한데, 커다란 summation을 포함하므로 scalable하지 않은것 같다. 정보이론적 양들을 효율적으로 계산할수 있는 방법 같은게 있는가?

-> 나는 수치적인 쪽의 expert는 아니지만, 그런 수치적인 방법들이 존재한다는것은 말할 수 있다. 하지만 기본적으로 헤비한 계산들인건 맞다.

이런식으로 질의응답을 했고... 특히 사가와 그룹은 최근에는 원론적인(?) 정보열역학뿐만 아니라 생체 기계들에의 보다 적극적인 응용도 하고있는 듯하니, 능동물질 쪽 연구자로서 앞으로 정보열역학 쪽과 엮일 일이 늘어나지 않을까 기대해본다. 특히 나 같은 경우 물리계에서 임의로 정의한 효율척도가 아니라 실제로 소모한 에너지와 관련된 thermodynamic cost를 수립하는 작업에 관심이 있다보니, 능동물질뿐 아니라 전통적인 정보처리시스템(계산기)에 대해서까지 이런 흥미를 확장한다면 정보열역학과 접점을 찾는것도 금방일듯하다.

사가와뿐만 아니라 스쿨 전체에 대해 총평해보자면... 스쿨이라는 이름에 부합하게 education에 초점이 맞춰진 무척 재밌는 학술행사였다. 5일 동안 총 네 분의 교수님이 템포를 조절해가며 기본부터 차근차근 가르쳐주셨고, 최신 연구도 조금씩 소개해주셨다.

내 본진(?)이라고 할수 있는 확률열역학을 다뤄주신 이재성 교수님 강의는, 익숙한 토픽들을 좀더 디테일하게 복습하는 느낌으로 들었다. 최근의 연구들을 보면 굉장히 근본적이어(?) 보이는 열역학적 부등식들도, 사실은 수리통계학에서 나오는 고등학교 수학스러운 부등식들을 tricky하게 열심히 적용해서 얻어지는 경우가 많은듯하다. 그런 tricky한 것들을 꿰뚫는 좀더 간명한 수학적 원리가 존재하지 않을까 생각을 해본다. (아마 이건 분명히 존재하지만 내가 못보고 있는듯하다)

이론물리학의 초일류 테크를 타다가 생물쪽으로 틀어서 미 국립보건원에 계시는 Vipul Periwal 교수님도 이번에 강의를 하셨다. 통계물리를 데이터사이언스에 적용할수 있게끔 analogy를 쭉 설명해주시고, large deviation theory를 차근차근 설명해주셨다. 이 역시 우리 연구실 스터디에서 다뤘던 부분이라 복습 느낌으로 잘 따라갈수 있었다. 한가지 새로웠던 것은 inverse Sanov theorem이었다. 이게 무엇인가 하면... 비평형 통계물리에서는 기본적으로 ground truth 분포 P을 알고있는 채로 empirical distribution F의 희소성을 생각하는데, 데이터사이언스는 정반대로 F를 알고있는 채로 P를 추정하는 것이다. 그래서 어떻게 하냐면 베이즈정리를 이용해서 조건부확률을 뒤집어준채로 large deviation을 한다. 간단히 키워드만 소개해주셨음에도 무척 재밌는 아이디어 같았고 오리지널 논문을 금방 찾을 수 있었다. 수학 논문치고는 그래도 물리학도가 이해할수 있는 수준으로 써놔서, 찬찬히 읽어보려고 한다.

한편 보스턴대학의 Mehta 교수님은 딥러닝이 왜 성공적으로 작동하는지에 대한 이론적 질문을 쉽고 재밌게 풀어주셨다. 나는 이번엔 모든 세션에 개근하나 했더니만 마지막 날에 호텔 말고 관악집에서 가느라 Mehta의 아침세션을 놓치고 말았는데... 이전까지는 딥러닝의 기초적인 내용(generalization, regularization 등)만을 쉽게 설명해주셨으나 하필 그 세션에서는 double descent 등을 포함한 모던한 이론적 understanding까지 인텐스하게 다뤄주셨다고 해서 후회가 되었다. 나중에 참고문헌 같은 거라도 올려주셔서 볼수 있었으면 좋겠다.

이번엔 우리 연구실 사람들은 나 포함 두명밖에 안 와서, 주로 우리랑 가까운 사이인 물리교육과 조정효 교수님 연구실 사람들한테 끼어서 같이 다녔다. 저녁시간에도 라구파스타, 텐동, 인도커리 등을 먹으러 같이 잘 다녔는데, 그러면서 이야기 해 보니까 머신러닝에 대해 이론적 깊이뿐 아니라 실용적(?) 감각도 많이 가지고 스터디도 다양하게 진행하는 열정적인 연구실인 것 같았고, 특히 내가 교양수준으로 좋아하는 디퓨전모델에 대해 최신의 흐름까지 자세히 알고 계신 것 같아서 앞으로도 더 많이 교류하면서 배우면 좋지 않을까 생각이 들었다.

이제는 school 파트는 끝났고, 다음주 월~화 동안 연구내용 발표를 하는 워크숍 파트가 남았다. 나는 이번에 포스터 발표를 하기는 어려운 상황이지만, 교수님들의 강연뿐 아니라 참석한 대학원생들의 포스터까지 한번 잘 들어보면 좋을 것 같다.

Facebook에서 이 글 보기: 링크

[도서 소개] 경로적분에 대한 종합적 시야를 제공하는 책 (Chaichian and Demichev)

이론물리학의 중심 도구인 경로적분에 대해 두고두고 참고해볼 만한 책을 찾았다 (Chaichian and Demichev, "Path Integrals in Physics", 아래에 링크). 인용수도 300여 회 정도로, 상당히 쓸만한 책이라는 느낌이다.

양자역학의 기술방법으로서 리처드 파인만의 경로적분(path integral)은 물리에 관심있는 독자들을 위한 대중 과학서적에서 상당히 자주 등장하며, 어떤 입자가 움직일 때 가능한 모든 경로를 동시에 거치는데 그 경로들 중에 대부분은 상쇄되고 액션이 최소인 것만 살아남는다는, 다소간에 신비스러운 인상으로 언급된다.

그런데 사실 경로적분의 초기적인 모습은 파인만보다 훨씬 이전으로 거슬러올라가, 모든 점에서 미분불가능한 경로를 갖는 무작위 움직임인 '브라운 운동'을 수학적으로 정식화한 Wiener의 기여 (그래서 브라운운동을 수학 쪽 사람들은 Wiener process라고 부른다) 가 그 시작으로 비정되기도 한다. 이것이 디랙, 파인만 등에 의해 라그랑지안과의 연관성이 지적되면서 고도화되고, 양자역학 및 양자장론에 성공적으로 적용되면서 이론물리학에 많은 발전을 가져다주었다고 영문 위키백과에서는 설명하고있다.

그리고 90년대 이후로 발전한 현대적인 비평형 통계역학에서도, 입자가 특정 경로를 겪을 (고전역학적) 확률을 Onsager-Machlup 경로확률로 기술한다. 이는 통계역학적 관심사라는 점에서 Wiener의 직접적 후신이라고 할 수 있을것이며, 평균된 엔트로피가 아니라 '확률변수'로서의 엔트로피를 정의하는데에 쓰이는 매우 중요한 양이다. 또한, 희귀한 현상의 발생빈도를 말해주는 rate function을, 통계학에서 나오는 generating function의 르장드르변환으로써 구하게 해주는 large deviation theory의 관점에서도 이러한 경로확률을 바라볼수 있다.

그런데 Braket notation을 쓰면 통계역학에서의 이러한 경로확률이, 양자역학의 경로적분에서 말하는 propagator와 거의 비슷한 양이라는것이 드러난다. 이렇듯 경로적분은 양자역학뿐만 아니라 고전역학, 통계역학 등 여러가지 이론체계 각각에서 매우 유용할뿐 아니라 그것들 사이의 깊은 링크를 제공해서 서로 통합적으로 조망할 수 있게 해 주므로, 전술했듯이 이론물리학의 가장 중심적인 도구라고 해도 과언이 아닐듯하다.

이 책의 Volume 1에서는 random walk부터 시작하는 경로적분의 elementary한 construction과, 양자역학(quantum mechanics)에서의 경로적분을 다루고있다. Volume 2에서는 양자장론(quantum field theory) 및 통계물리학에서의 경로적분을 다루고, 마지막으로 Parisi와 Wu에 의해 도입된, 양자장론의 stochastic quantization까지 소개한다. 이들 각각의 픽쳐 내에서 잘 쓰인 책은 많이 있지만, 이 책은 내가 늘 쓸데없이 많이 궁금해하는 부분인, 서로 다른 픽쳐들 사이의 링크를 명시적으로 제공해줄것 같아서 기대된다.

<도서 정보 링크>

Volume I: https://www.routledge.com/.../Chaich.../p/book/9780367397142

Volume II: https://www.routledge.com/.../Chaich.../p/book/9780750308021

Facebook에서 이 글 보기: 링크

Optimal transport accelerates the score-based generative modeling

<Midjourney가 시간과 에너지를 아끼려면? : 최적수송이론에 근거한 최신의 연구 소개>

Diffusion model (혹은 사실상 거의 같게 사용되는 용어로, score-based generative models) 은 최근에 머신러닝에서 크게 각광받고 있다. 특히 사용자가 prompt를 입력하여 원하는 이미지를 생성해내는 text-to-image generation의 경우는 매우 커다란 데이터셋과 모델에 힘입어 Midjourney, StableDiffusion, DALL-E 2 등의 서비스로 출시되기도 했다. 이들 서비스는 의미론과 텍스쳐 양쪽에서 명백히 '창의적'이라고 말하고 싶을 정도로 뛰어난 피쳐 학습 및 재조합 능력을 보여주며, 단순히 학계 내의 주목을 넘어 예술분야 및 호사가들에도 새로운 영감과 고민을 제공하고있다.

나는 이미 작년 12월에 wombo라는 서비스를 접하고 포스팅을 했었다 (블로그에서 해당 글 읽기: 링크). 해당 서비스는 디퓨전 모델은 아니고 GAN의 한 변형인 VQGAN이라는 모델을 이용했는데, 이미 상당히 창의적인 이미지를 생성해주었다 (이를테면 내가 입력해본 프롬프트인 'nvidia building', 'mecha donald trump' 등이 있다). 그러나 모델의 설계 자체가 가진 한계인지, 아니면 컴퓨팅 파워의 한계인지, 이미지가 선명하지는 않고 모호하게 뭉개져있는 듯한 느낌이었다. 사실 generative art라고 하는 분야에 추상적인 패턴뿐만 아니라 의미론이 들어오는걸 오랫동안 소망해온 나로서는 이 정도만 해도 엄청나게 신기한 결과긴 했다.

한편 디퓨전 모델의 경우는 일부 task에서 GAN을 넘는 성능을 보이는 등 성공의 가능성이 보이자, 대량의 컴퓨팅 파워와 고급의 엔지니어링이 투자되어, 매우 선명하고 모든 부분을 식별가능한 이미지들까지 만들어낼 수 있게 되었다. 이는 위에서 말한 유료 서비스들의 출시와 본격적 유행으로까지 이어질수 있었다.

이 글에서는 이러한 디퓨전 모델의 기본적인 작동원리와, 그 가장 큰 문제점을 상당부분 해결할 것으로 기대되는 최신의 연구에 대해 간단히 소개해보도록 한다. 옆 연구실과 함께하는 세미나에서 발표한 자료를 하단에 첨부한다 (슬라이드별 간단한 설명은 차근차근 추가예정).

디퓨전 모델의 기본적인 컨셉은 다른 복잡다단한 인공지능 모델들에 비해 비교적 간단하고 우아한 편인데, 이는 물리학, 화학 등에서 종종 등장하는 현상인 확산(diffusion) 및 그것을 기술하는 비평형 통계역학 (non-equilibrium statistical mechanics)의 방법론에 근간을 두고 있다.

사람 얼굴 데이터, 숫자 손글씨 데이터 등 모든 이미지 데이터셋은 각각의 '분포'를 가지고 있다. 무슨 뜻이냐면, 존재할 수 있는 수많은 이미지(=2차원 행렬)들 중에, 사람 얼굴 사진처럼 생긴 이미지는 극히 일부일 것인데, 모든 가능한 이미지들을 모아놓은 추상적인 공간 상에서 자기들끼리 비교적 가깝게 모여서 어떤 덩어리를 형성하고 있을 거라는 뜻이다.

그런데, 모든 가능한 이미지들의 공간에서 아무 점이나 골라보면 마치 TV 잡음처럼 랜덤한 이미지일 가능성이 압도적으로 높다. 그런 공간에서 사람 얼굴처럼 생긴 이미지들의 모임을 생각하면, 그 윤곽은 꽤 복잡하고, 들쭉날쭉하게 생겼다고 생각할수 있다.

(물론 차원 자체가 워낙 높아서 생각보단 괜찮게 생겼을지도 모르나, 이 경우에는 sparse함이 문제가 된다. 이런 문제를 그나마 개선해줄 수 있는 게, 휘어진 평면을 다루는 기하학인 Riemannian manifold를 도입하는 것이다. 실제로 머신러닝에 많이 적용되고 있으며 디퓨전 모델에도 적용한 연구들이 속속 나오고 있다)

다만 우리가 실제로 그 분포를 알고 있는 것은 아니다. 우리는 그 분포를 따르는 여러 개의 점들 (이미지들) 만 가지고 있다. 점들을 알고 있으니 대충 윤곽을 따라갈 수 있지 않냐고 할 수 있는데, 굉장히 정확한 지적이다. 그러나 고차원이고 커다랗기 때문에 현실적으로는 어렵고 이에 기계의 힘을 빌리고싶다. 만약에 그 분포의 윤곽 자체를 안다면, 사람 얼굴이면 얼굴, 숫자면 숫자, 풍경이면 풍경 등, 기존에 존재하지 않았지만 분명히 사람 얼굴에 해당하는 (혹은 다른것에 해당하는) 이미지를 만들어낼수 있을 것이다. 이게 생성모델의 기본 개념이다.

어떻게 그렇게 할 수 있을까? 다양한 방법이 있는데, 디퓨전 모델에서는 먼저 이러한 복잡한 분포에 작은 노이즈를 단계단계 조금씩 집어넣어, 커다란 공간 전체를 비교적 균일하게 채우는 정규분포 같은 분포로 바꾸어준다. 이는 '좁은 용기 속에 있던 기체분자가 방 전체로 퍼져나가는 것', 즉 확산에 비유할 수 있다. 그런데 사실은 비유일 뿐 아니라 수학적으로 정확하게 똑같게 기술된다. 이를 분포를 '부순다'고 표현하자.

그 때 분포가 어떻게 부서지는지 그 양상을, 인공신경망을 이용해서 학습하자. 인공신경망은 기본적으로 뭐든지 흉내낼수 있는 매우 커다란 함수라고 보면 된다. 아무튼 이렇게 부서지는 양상을 알았으니, 반대로 균일한 분포 (위에 말한 TV 잡음 같은걸 모두 포함한) 로부터 원래 분포를 만들어낼 수 있다 (약간만 더 테크니컬하게 말하면 베이즈 정리에 근거해서 조건부확률을 뒤집어주는 것이다).

그러나 디퓨전 모델의 매우 큰 문제점은, 원래의 좁은 분포를, 전체 이미지들이 이루는 고차원 공간을 균일하게 채울 때까지 단계단계 조금씩 부수면서 학습해야 하기 때문에 학습과 생성에 너무 많은 시간이 걸린다는 것이다. 이 문제는 신경망의 크기를 키운다고 해결되는 것은 아닌듯하다.

이번에 소개한 논문인 Diffusion Schrodinger Bridge에서는 이 문제를 해결하기 위해, 최적 수송 이론 (optimal transport) 및 그것의 변형인 슈뢰딩거 브릿지 (Schrodinger Bridge)를 도입한다. 최적수송이론은 어떠한 분포 p0을 다른 분포 p1로, 유한한 고정된 시간 내에 반드시 보내게끔 강요하는 (정확히 말하면, 최소의 비용으로 그렇게 보낼수 있는 구체적인 경로를 찾는) 것에 관한 이론이다. 딱 들어도 위에 말한 디퓨전모델의 문제점 해결에 적용될 수 있겠다는 직관이 든다.

최적수송 이론을 약간 변형시킨 슈뢰딩거 브릿지 문제는, IPF 알고리즘이라는 기존에 잘 정립된 방법을 통해서 풀 수 있다. 대략적으로 설명하자면 처음에는 마지막 분포 p1을 고정시킨 채로, 그 다음에는 처음분포 p0을 고정한채로, 그 다음에는 다시 p1을 고정한채로... 이런식으로 왔다갔다 하면서 좁혀서 점점 p0에서 p1으로 가는 좋은 경로를 찾아준다. 실제로 저자들은 이 방법을 적용해서, 데이터 분포를 노이즈 분포로 부수는 과정을 가속(혹은 단축)시켜 준다.

그 결과도 상당히 괜찮아서, 기존의 디퓨전 모델보다 훨씬 짧은 시간에 원하는 사람얼굴 이미지를 나름 선명하게 만들어낸다. 한편 재밌게도, 노이즈로부터 원하는 사진들을 만들어내는 것뿐만 아니라, 서로 다른 두 분포를 내삽(interpolation)하는 것도 가능하다. 무슨 말이냐면, 숫자들과 알파벳글자들 사이의, 혹은 땅속 풍경과 바닷속 풍경 사이의 '가장 자연스러운 연결'을 찾아줄 수 있다는 것이다 (물론 기준에 따라 다르며 딱히 과학적 진리 같은것은 아니다).

아무튼 매우 흥미로운 아이디어이고, 앞으로 사람들이 이것을 더 큰 모델들, 더 어려운 task에 대해서까지 이게 잘 적용되는지, 그리고 end-to-end로 잰 실제 시간과 자원이 절약되는게 맞는건지 등을 테스트를 해보면 좋겠다. 만약에 더 어려운 문제들에 대해서까지 결과들이 꾸준히 잘 나온다면, 각광받는 디퓨전 모델의 큰 문제가 꽤나 해결된 셈이겠다.

Slide refined at June 21 (2025)

Deepest (an SNU student club on deep learning) Season 17 Hosting

summation of two random variables: some elementary calculations

세상이 알아주지 않지만 나 혼자 자주 하는 일 중 하나는, 간단하고 잘 알려진 결과들도 가능한 한 복잡하게 얻어보는 것이다. 무슨 말인고 하니, 계산을 할때 인간의 직관과 언어, 그리고 추상화된 심볼로 때울 수 있는 부분을 배제하고 가능한한 elementary한 수식 전개만 이용해서 절차적, 기계적으로 계산해 보는 것.

그렇다고 해서 추상적인 수학적 구조로 가는 게 아니라 최대한 elementary하게 풀어 쓰는 것이다보니 이런건 '수학적'인 사고방식이라고 부르기도 어렵다. 그냥 물리학도로서의 계산 연습 같은거라고 하겠다.

오늘 지인의 궁금증에 나름의 답을 써 보다가도 그런 걸 하나 했다 (원래의 궁금증과는 큰 관련은 없게 된 듯). 바로 두 독립인 확률변수 \(X_1, X_2\)의 합 \(Y=X_1+X_2\)에 대해서다. 자세한 계산은 다음의 pdf 파일에 써 두었고, 모티베이션을 아래에 국문으로 소개한다.

확률변수라는 것을 이름과 달리 변수(집합의 원소가 될수있는 기호)라기보다는 함수(집합에서 집합으로의 맵핑)라는 관점으로 생각하는게 더 적절할때가 많다. 그러면 일단 위 표현에 등장하는 +기호는 숫자들간의 elementary한 덧셈과는 다르고, 그것과 비슷하게 보이도록 표기한것일 뿐인건 분명해보인다. 숫자와 숫자를 연산해서 숫자가 나오는게 아니라, 함수와 함수를 연산해서 함수가 나오는거니까.

확률변수는 결국 확률분포함수에 의해 completely describe되므로 확률분포의 언어로 상황을 나타내보자. 그러면 \(Y\)의 확률분포를, \(X_1\)과 \(X_2\) 확률분포의 elementary한 덧셈과 곱셈으로 나타내겠다는 생각을 해볼수 있다.

첫번째 관점은, 세번째 확률변수 \(Y\)에 독자적인 randomness가 없고 철저히 \(X_1\)과 \(X_2\)에 의해서만 결정된다는 것에서 출발한다. 이걸 식으로 표현해보자. 정확히 어떻게 결정되는지가 델타함수 부분에 들어가있다.

\(P(X_1=x_1, X_2=x_2, Y=y) = P(X_1=x_1) P(X_2=x_2) \delta(y - (x_1+x_2))\) ...(i)

Elementary한 연산만으로 되어 있으므로 내가 좋아하는 표현이다.

\(X_1\)과 \(X_2\)에 더하여 \(Y\)라는 확률변수까지 함께 고려할 때 추가되는 불확실성이 없다는 것을, 정보엔트로피 H를 정량적 척도삼아 기계적(?)으로 계산해 볼 수 있다. 이 3개짜리 joint 분포의 불확실성의 총 크기(정보엔트로피)를 계산하면, 기존 두개짜리 분포 \(P(X_1=x_1, X_2=x_2)\)의 정보엔트로피와 똑같게 나온다 (상단 pdf에서 자세히).

두번째 관점은 확률변수의 합의 직관적(?) 정의에 충실하게, 확률변수 \(X_1\)과 \(X_2\)에서 하나씩 draw해서 서로 더했을때 그 합이 \(y\)가 될 확률을 써 보는 것이다. \(X_1\)에서 \(x\)가 나왔다면 \(X_2\)에서는 \(y-x\)가 나와야 한다.

\(P(Y=y) = \sum_x P(X_1=x) P(X_2=y-x)\) ...(ii)

컨볼루션이라고 부르는 익숙한 연산이다. 독립인 확률변수 두 개의 합의 분포는 원래의 확률분포 두 개의 컨볼루션인 것. 그렇다면 (i)에서 (ii)를 직접 유도할수 있을까? 델타함수의 성질을 잘 써서 marginalize를 두번 해주면 된다 (상단 pdf에서 자세히).

이렇게 \(Y=X_1+X_2\)라는 추상화된(?) 표현을 확률분포함수의 언어로 elementary하게 풀어 써서 이리저리 갖고 놀아 봤다. 그저 덧셈기호이지만 뜯어보면 꽤 복잡한것들이 숨어있는 셈이다. 그러면 우리는 이 표현을 어떻게 실제 숫자들간의 덧셈처럼 쉽게 받아들이고 사용하는가? 그리고 그래도 왜 문제가 없는가? 몇가지 생각을 해봤다.

(1) Draw한 샘플들(곧 숫자들)의 덧셈과 대응되므로.

(2) 위 식 (i)의 델타함수 안에 실제 숫자들의 덧셈인 \(y-(x_1+x_2)\)가 들어가 있어서.

(3) 독립인 확률변수의 합(<=> 확률분포함수의 convolution)도 교환법칙 및 결합법칙이 성립하는 등, 대수학적 성질을 숫자들의 덧셈과 to some extent 공유해서.

(1), (2)는 trivial하게 같은얘기 같고, '어떻게 쉽게 받아들이나'와 관련있는 듯하다. (3)은 나머지 둘과는 결이 다르며, '왜 그래도 되는가'와 관련있는 듯하다. 맞는 생각일지 독자 쌤들의 많은 지적 바라오며...

암튼 간단한 예를 들었지만, 실제 연구 과정에서도 수식 전개가 약간 불명확하다 싶으면 자연어와 조건문으로, 혹은 한단계 추상화된 심볼로 돼있는부분을 최대한 elementary한 수식으로 바꿔서 기계적으로 풀어보곤 한다. 무슨무슨 theorem 등의 알려진 결과에 의해 옳을수밖에 없다는 고급(?) 논증도 중요하지만 초등적인 계산으로 직접 보이는것 역시 이해를 보완해준다. 특히 랑주뱅방정식을 도구삼아 연구할때면 correlation function에 대해 그런 초등적인 확인작업을 해볼 기회가 많다.

그러나 그런 식의 계산은 특성상 사람들이 별로 알아주지 않으며 직접적으로 유용하지도 않다. 내 개인적인 확인용, 그리고 공부 및 연습용이라고 보는게 맞겠다. 흘려보내기 아깝다보니 sns랑 노션에 그런걸 종종 모아두면 어떨까 한다.

Facebook에서 이 글 보기: 링크