양자역학과 통계역학의 구분: 디스커션의 레벨을 잘 분별하여 변증법적 이해를 도모하자

물리학에서의 확률 하면 흔히 양자역학을 생각하는데, 그러한 양자역학적 확률(불확정성 원리 등)과 통계역학적 확률(엔트로피 등)이 서로 다르다는건 독서 및 양질의 웹검색 등을 통한 개념 교통정리와, 기초적인 일반물리학 훈련을 통해서 감을 잡을수 있다.

그러나 원론적으로 알더라도 개별 문제로 들어가면 이 둘을 은근히 헷갈리는 경우가 있는 듯하다. 대표적인 게 영점 에너지, 양자 상전이(quantum phase transition) 같은 것들이다.

외부와 열적 접촉을 하고 있을때 온도가 잘 정의되고, 그렇지 않다면 양자통계역학적 시스템이 아니라 그냥 양자역학적 시스템인 것. 요컨대 각 state의 에너지레벨과 degeneracy를 구하는건 양자역학이지만, 실제로 계가 각 state를 어느 확률로 갖겠냐는 건 통계역학이다.

(여담으로 유한한 온도에서 수소원자 해밀토니안의 모든 state의 볼츠만팩터를 더한 분배함수가 발산한다는 문제가 있던데 직접 계산해보고 해결해 봐도 재밌을거같다)

보손, 페르미온의 통계역학이 서로 다르다는 걸 논의할 때도 여러 입자의 결합 파동함수를 바탕으로 정확하게 formulate할때도 있지만, 그냥 알려진 조합론적 성질(한 state에 무한히 들어간다 / 한개만 들어간다)만으로 '쉽게' 유도할때도 있다. 나는 대학원 통계역학 수강을 할때는 후자로 배웠지만, 조교 할 때에는 전자로 강의를 하셨다. 후자 같은 경우엔 사실 파동함수를 쓰는 양자스러운 계산이 직접 등장조차 안 한다.

그러면 열적 접촉 말고 빛과의 상호작용에 의한 들뜸 같은건 어떻게 하느냐... 이것도 계산방법이 있을 테고, 포톤가스를 통계역학적으로 다루기도 하는 것 같다.

아무튼 이런걸 심오해보이게 말고 딱 즉문즉답 식으로 클리어하게 구분하는 논증과 예시 같은걸 많이 갖고 기억해두고 있으면 좋을거같다.

(여담이지만 이런 거랑 비슷하면서 좀 다른 얘긴데, 계가 에너지 낮은 걸 선호한다는 거랑, (토탈)엔트로피 높은걸 선호한다는 것도 전제조건 같은 걸 정확히 써 두면 열역학의 언어로 쉽게 통합적으로 다룰수 있는건데... 기초 일반화학 쪽에서 주로 현상의 설명을 위해 정성적으로, 말로 다루다 보니 둘 사이에 많이들 헷갈리는 것 같음. 특히 화학반응의 선호 같은걸 생각할때.)

그러면 양자 상전이라는게 무엇인가? 요동의 크기와 커플링의 세기 사이에 경합이 존재할때 파라미터 변화에 따라 상전이가 일어날수 있는데, 그 요동의 정체가 열적인 것이 아니라 양자적인 경우인것.

양자요동은 quantum harmonic oscillator에서 영점에너지 얘기할 때 나오는 그것이고, 절대영도에서도 양자요동이 있기 때문에 구성요소 사이에 커플링이 적절히 돼있는 계라면 절대 영도에서도 양자상전이가 가능함.

물론 유한한 온도에서도 양자상전이가 가능하며 한 시스템 안에서 열요동과 양자요동을 통합적으로 다루는 픽쳐도 당연히 있다 (서로 통합된, 연결된 현상). 그리고 한편으로는, 임계점 근처에서는 어떤 차원에서 열적 요동에 의한 상전이와, 다른 차원에서 양자요동에 의한 상전이 사이에 대응도 존재한다(다른시스템에서 나타나는 서로 다른현상). 사실 이런 것 때문에 더 헷갈릴수도 있다.

흔히들 질문하는 '절대영도에 실제로 도달할수 없는 이유'는, 적어도 일단은 영점에너지 같은 양자역학적 개념이 아니라 열역학/통계역학의 질문인것같다. 설령 절대영도에 정확히 도달하더라도 양자요동이 있다는게 영점에너지니까.

다만 이 열역학적 질문도 더 빈틈없이 통제하고 더 깊게 들어가면 양자적인 질문이 될수도 있는 것 같고 (사실 잘모름), 이와 별개로 통계역학에서 가장 근본적이고 미묘한 질문인 비가역성의 근원 문제도 제기될수 있다. 결국 다 deterministic time evolution이지 않느냐. 이는 고전통계역학에서의 볼츠만의 H-theorem에 비견되는 양자통계역학의 근본 물음으로서, eigenstate thermalization hypothesis (ETH) 등의 키워드로 활발하게 연구되고 있다.

그러나 이렇게되면 개념이 섞여버리고 논의의 레벨을 헷갈리게 된다. 전공필수과목 수준에서 지금 상황이 양자역학적인 것인지 통계역학적인 것인지는 정확히 구분해볼 필요가 있다. 사골같은 예시로, 물이 도체냐 부도체냐가 초중고 넘어갈때마다 달라진다고 밈처럼 까이지만 그래도 지식을 급히 먹다 체하지 않으려면 그 스텝을 따르는게 좋은데, 이거랑 비슷하다고 생각한다.

Facebook에서 이 글 보기: 링크

머신러닝의 물리학: 개괄 및 문헌 소개

웹 검색을 하다가 올해 초에 나온듯한 아주 좋은 책을 찾았다. (Huang, Haiping. "Statistical Mechanics of Neural Networks." (2022). Springer 링크)

물리학, 특히 통계물리학으로 머신러닝의 작동원리를 모형화하고 설명화하려는 시도는 상당히 활발하게 이뤄지고 있다. 머신을 glassy한 스핀 시스템처럼 보고 원하는 분포를 만들어갈때 무슨일이 벌어지는지 보는 관점, 알갱이 계의 jamming에 대응시키는 관점(이건 아직 잘 이해하지 못했다), 신경망의 한 층에서 다른 층으로 정보가 전파되는 것을 되틀맞춤무리(renormalization group) 변환으로 보고 상전이를 identify하는 관점 등이 있다. 점점 많이 보이는 NNGP, infinitely wide neural network, neural tangent kernel 등도 한국인 물리학자 이재훈 박사님이 초기에 깊게 기여한 연구 흐름으로 알고있다.

이런 일련의 흐름은 재작년에 나온 종설논문(Bahri, Yasaman, et al. "Statistical mechanics of deep learning." Annual Review of Condensed Matter Physics 11 (2020): 501-528. 링크)에 어느정도 잘 정리되어 있다. 일부 possible misconception과 달리, 이들 대부분 그저 '느슨한 비유'를 넘어서 통계물리라는 제너럴한 프레임워크를 머신러닝 시스템에 '실제로 정확히' 적용하는 것에 가깝다고 나는 생각하고 있다.

나는 머신러닝을 직접 연구하지는 않고 보다 전통적인 물리학적 대상들을 공부하고 있지만, 이런 분야들에도 늘 관심 갖고 팔로업은 하는 중이다. 특히 이들 중 SGD를 비롯한 딥러닝의 최적화 과정을, 손실함수 지형 위에서의 Brownian motion 비슷한 걸로 보는 관점에 제일 흥미가 있다. SGD가 단순히 계산량을 tractable하게 하기 위해 아쉬운 대로 minibatch를 쓰는것이 아니라, 도달하는 minima 자체가 full batch GD에 비해 '오히려 좋아'서 오버피팅이 방지되고 잘 작동한다는 걸 여러 연구들이 시사하는데, 그 이유를 통계물리학의 랑주뱅 방정식 등을 도구 삼아서 분석하는 것이다.

내 메인 연구주제가 현상론과 반대를 지향한다고 할수 있는 원리적인(?) 열역학 인것과 달리, 머신러닝에서의 이러한 관심사는 다소 현상론적이라고 하겠다. 나는 2021년 노벨상을 받은 스핀글래스 등 응집물질들에 잘 적용되는 전통적(?) 통계물리보다는, 주로 90년대 이후에 발전된 stochastic thermodynamics를 도구 삼아서 연구하고 있다. 이런 방법론적 흥미 및 익숙함 때문에 머신러닝에서도 그러한 접근들에 관심이 가는 것일지도 모른다.

그런데 서두에 소개한 이 책은 그런 게 아니라 굉장히 근본적인 쪽, 즉 맨 앞쪽 문단에서 첫 번째로 말한 관점 쪽을 매우 잘 써두었다. 통계물리 방법론 중에서도 깊고 어려운 쪽에 속하다보니, 학습이란게 대체 무엇인지에 대한 시야도 열역학적 해석을 통해 상당히 깊게 가지고 가는 듯하다. 우리 연구실 박사수료생 선배 중에도 이런 걸 하시는 분이 있는데, 이만큼 잘 정리돼 있는 책이 전세계에 아예 없는것같고 목차를 읽는것만으로도 많은 공부가 된다고 하신다. 두고두고 읽을만한 텍스트북이라 하드커버 physical book을 사봐도 괜찮겠다 싶음. 다만 스핀글래스 중심이라 상당히 난이도가 높을것 같기는 하다.

여담이지만 늘 관심있게 팔로우업 하고있는 스탠포드/구글브레인 그룹 (S Ganguli, J Sohl-Dickstein(이분은 diffusion model의 시초가 된 2015년 논문의 저자이기도 하다), S S Schoenholz 등) 에서도 연구 내용들을 이렇게 책으로 정리해서 내주었으면 좋겠다는 바람도 든다. 내 직감이지만 디퓨전모델이 점점 유명해지는것과 겹쳐서 머신러닝 하는 분들이 (꼭 원리 그자체가 physics-inspired인 디퓨전모델이 아니더라도) 이런 통계물리적 접근에 점점 더 관심을 갖게 되고, 유능한 학생들이 계속 투입되는 만큼 무척 잘하게 되지 싶다. 그 웨이브를 타려면 미리 각종 세미나 및 스쿨 같은 데도 참가하고 블로그 같은데에도 써두고 실질적인 연구협업에도 ASAP involve되어 볼 필요가 있겠다.

Facebook에서 이 글 보기: 링크

summation of two random variables: some elementary calculations

세상이 알아주지 않지만 나 혼자 자주 하는 일 중 하나는, 간단하고 잘 알려진 결과들도 가능한 한 복잡하게 얻어보는 것이다. 무슨 말인고 하니, 계산을 할때 인간의 직관과 언어, 그리고 추상화된 심볼로 때울 수 있는 부분을 배제하고 가능한한 elementary한 수식 전개만 이용해서 절차적, 기계적으로 계산해 보는 것.

그렇다고 해서 추상적인 수학적 구조로 가는 게 아니라 최대한 elementary하게 풀어 쓰는 것이다보니 이런건 '수학적'인 사고방식이라고 부르기도 어렵다. 그냥 물리학도로서의 계산 연습 같은거라고 하겠다.

오늘 지인의 궁금증에 나름의 답을 써 보다가도 그런 걸 하나 했다 (원래의 궁금증과는 큰 관련은 없게 된 듯). 바로 두 독립인 확률변수 \(X_1, X_2\)의 합 \(Y=X_1+X_2\)에 대해서다. 자세한 계산은 다음의 pdf 파일에 써 두었고, 모티베이션을 아래에 국문으로 소개한다.

확률변수라는 것을 이름과 달리 변수(집합의 원소가 될수있는 기호)라기보다는 함수(집합에서 집합으로의 맵핑)라는 관점으로 생각하는게 더 적절할때가 많다. 그러면 일단 위 표현에 등장하는 +기호는 숫자들간의 elementary한 덧셈과는 다르고, 그것과 비슷하게 보이도록 표기한것일 뿐인건 분명해보인다. 숫자와 숫자를 연산해서 숫자가 나오는게 아니라, 함수와 함수를 연산해서 함수가 나오는거니까.

확률변수는 결국 확률분포함수에 의해 completely describe되므로 확률분포의 언어로 상황을 나타내보자. 그러면 \(Y\)의 확률분포를, \(X_1\)과 \(X_2\) 확률분포의 elementary한 덧셈과 곱셈으로 나타내겠다는 생각을 해볼수 있다.

첫번째 관점은, 세번째 확률변수 \(Y\)에 독자적인 randomness가 없고 철저히 \(X_1\)과 \(X_2\)에 의해서만 결정된다는 것에서 출발한다. 이걸 식으로 표현해보자. 정확히 어떻게 결정되는지가 델타함수 부분에 들어가있다.

\(P(X_1=x_1, X_2=x_2, Y=y) = P(X_1=x_1) P(X_2=x_2) \delta(y - (x_1+x_2))\) ...(i)

Elementary한 연산만으로 되어 있으므로 내가 좋아하는 표현이다.

\(X_1\)과 \(X_2\)에 더하여 \(Y\)라는 확률변수까지 함께 고려할 때 추가되는 불확실성이 없다는 것을, 정보엔트로피 H를 정량적 척도삼아 기계적(?)으로 계산해 볼 수 있다. 이 3개짜리 joint 분포의 불확실성의 총 크기(정보엔트로피)를 계산하면, 기존 두개짜리 분포 \(P(X_1=x_1, X_2=x_2)\)의 정보엔트로피와 똑같게 나온다 (상단 pdf에서 자세히).

두번째 관점은 확률변수의 합의 직관적(?) 정의에 충실하게, 확률변수 \(X_1\)과 \(X_2\)에서 하나씩 draw해서 서로 더했을때 그 합이 \(y\)가 될 확률을 써 보는 것이다. \(X_1\)에서 \(x\)가 나왔다면 \(X_2\)에서는 \(y-x\)가 나와야 한다.

\(P(Y=y) = \sum_x P(X_1=x) P(X_2=y-x)\) ...(ii)

컨볼루션이라고 부르는 익숙한 연산이다. 독립인 확률변수 두 개의 합의 분포는 원래의 확률분포 두 개의 컨볼루션인 것. 그렇다면 (i)에서 (ii)를 직접 유도할수 있을까? 델타함수의 성질을 잘 써서 marginalize를 두번 해주면 된다 (상단 pdf에서 자세히).

이렇게 \(Y=X_1+X_2\)라는 추상화된(?) 표현을 확률분포함수의 언어로 elementary하게 풀어 써서 이리저리 갖고 놀아 봤다. 그저 덧셈기호이지만 뜯어보면 꽤 복잡한것들이 숨어있는 셈이다. 그러면 우리는 이 표현을 어떻게 실제 숫자들간의 덧셈처럼 쉽게 받아들이고 사용하는가? 그리고 그래도 왜 문제가 없는가? 몇가지 생각을 해봤다.

(1) Draw한 샘플들(곧 숫자들)의 덧셈과 대응되므로.

(2) 위 식 (i)의 델타함수 안에 실제 숫자들의 덧셈인 \(y-(x_1+x_2)\)가 들어가 있어서.

(3) 독립인 확률변수의 합(<=> 확률분포함수의 convolution)도 교환법칙 및 결합법칙이 성립하는 등, 대수학적 성질을 숫자들의 덧셈과 to some extent 공유해서.

(1), (2)는 trivial하게 같은얘기 같고, '어떻게 쉽게 받아들이나'와 관련있는 듯하다. (3)은 나머지 둘과는 결이 다르며, '왜 그래도 되는가'와 관련있는 듯하다. 맞는 생각일지 독자 쌤들의 많은 지적 바라오며...

암튼 간단한 예를 들었지만, 실제 연구 과정에서도 수식 전개가 약간 불명확하다 싶으면 자연어와 조건문으로, 혹은 한단계 추상화된 심볼로 돼있는부분을 최대한 elementary한 수식으로 바꿔서 기계적으로 풀어보곤 한다. 무슨무슨 theorem 등의 알려진 결과에 의해 옳을수밖에 없다는 고급(?) 논증도 중요하지만 초등적인 계산으로 직접 보이는것 역시 이해를 보완해준다. 특히 랑주뱅방정식을 도구삼아 연구할때면 correlation function에 대해 그런 초등적인 확인작업을 해볼 기회가 많다.

그러나 그런 식의 계산은 특성상 사람들이 별로 알아주지 않으며 직접적으로 유용하지도 않다. 내 개인적인 확인용, 그리고 공부 및 연습용이라고 보는게 맞겠다. 흘려보내기 아깝다보니 sns랑 노션에 그런걸 종종 모아두면 어떨까 한다.

Facebook에서 이 글 보기: 링크

Momentum shell RG of Sine-Gordon model: the first RG equation (2022 KIAS-APCTP 통계물리 겨울학교 후기)

매년 겨울에 있는 통계물리 겨울학교(The 19th KIAS-APCTP Winter School on Statistical Physics, 행사 홈페이지 링크)에 이번에도 참여했다.

이번 윈터스쿨에서 우리팀은 2d XY model의 field theory 버전으로 생각할 수 있는 Sine-Gordon 해밀토니안에 대해 momentum-shell RG를 수행하여 RG equation을 얻고, flow를 분석하고, Kosterlitz-Thouless 상전이를 identify하는 작업을 진행했다.

내가 맡은 RG equation 유도 파트에서는 방정식 하나는 얻었지만, 나머지 하나까지 얻으려면 2nd order까지 전개해야 하는데 이건 풀릴듯 안풀릴듯 하다가 결국 못 풀었다. 2nd까지 푼 조들도 있던데 짧은 시간 안에 정말 대단한 듯하다. 다행히 연구실 동료가 찾은 좋은 문헌이 있어서 스쿨 마치고 돌아가서라도 계산 마저 뚫어보기로 했다.

팀원들 모두 이쪽에 사전지식이 적은 편이었는데도 코딩, 시각화, 문헌조사 등등 각자의 강점을 바탕으로 역할을 잘해주셔서 분위기가 매우 좋았고 간만에 무척 재밌게 한 팀플이었다. 수상은 못 했지만 RG equation 계산 복잡한데도 풀이 및 설명 잘했다고 노재동 교수님께 칭찬받은 걸로 위안을 삼는 중이다. 다른분들 발표 들으면서도 많이 배우는 점이 있었다.

Facebook에서 이 글 보기: 링크

1st NEST workshop on thermodynamics 참석 후기

고등과학원에서 3주간 목요일마다 진행된 speed limit 워크숍 (행사 링크: 고등과학원 웹사이트) 이 끝났다. 나는 마지막날인 오늘낮에 발표였는데, 정보열역학에서 1비트의 정보를 지울때 최소 kT ln 2의 열이 발생한다는 Landauer principle과 관련된 PRL 논문을 맡아서 다루었다 (발표자료: 하단에 임베드). 논문에서는 정보를 quasi-static하게 말고 유한한 시간 τ 동안에 지울 경우엔 열 발생량의 하한이 어떻게 바뀌는지를, Fokker-Planck 방정식을 따르는 확률분포의 time evolution(을 drive하는 퍼텐셜 프로토콜)의 최적화를 통해 분석한다.

천천히 지우는것보다 빨리 지우는 게 더 어려운 일이므로 수반되는 최소 열 발생량도 kT ln 2보다 더 클거라고 직관적으로 생각해볼수 있는데, 실제 결과도 그렇다. 정확히는 저 열 발생량 값에 더해지는 추가 발생량이 대략 1/τ에 비례함이 이미 여러 논문에서 보고되었는데, 이 논문에서는 τ에 따른 최소 추가 발생량 곡선을 커버하는 1/τ 모양의 band를 찾아내고, 그 1/τ 의존성의 근원을 상당히 보편적으로 설명한다.

정보기하 같은걸 쓰는, 기존에 주로 읽던 열역학적 제어 관련 논문들과는 달리 이 논문은 추상적인 수학이 많지않으며 철저히 손에 잡히고 눈에 보이는 것들 위주로 진행되어서, 나름 수월하게 읽고 재구성해서 발표할수 있었다 (그래도 복잡해서 시간은 많이걸렸다 ㅠ). 과장 좀 섞자면 계산 복잡한 고등학교 함수문제를 푸는 느낌이었다.

결국은 변분법으로 편미분방정식 구성해서 푸는 건데, 많은 불연속점과 미분불가능점을 갖는 엄청 nontrivial해 보이는 optimal control protocol이 나와서 신기했다. bit erasure 문제뿐 아니라 훨씬 넓은 클래스의 문제에 대해 적용해볼수 있는 방법론같다. 참석하신 교수님들이랑 연구실 동료들도 그런 의견이었다.

논문 외적으로 한가지 확실히 느낀건 발표자료와 구성을 마지막까지 고치니까 고친만큼 나아진다는거? 유도과정에서 중요한 편미방 풀이 스텝중 하나를 잘 모르겠어서 그냥 언급만 하고 스킵할까 하다가 계속 들여다봐서 시작 직전에 해결했는데, 그게 1/τ 의존성의 근원이 되는 핵심 단계이고 그래프에서 시각적으로 쉽게 표현 및 의미부여도 된다는걸 알게 돼서 그 내용도 도시해가며 설명할수 있었다. 실제로 서로 다른 여러 포말리즘의 speed limit들에서도 1/τ가 빈번히 등장하므로 각 문제에서 그 기원을 이해하는것은 중요하며, 그것들을 통할하는 link도 발견할수 있다면 좋을것이다. 개인적으로 결국은 기하인듯...

반면에, 구성 면에서의 개인적 만족도가 높아졌던만큼 듣는이에게 잘 전달도 되었으면 좋겠으나 그렇진 못했던것같다. 칠판, 스크린 왔다갔다 짚어가면서 이야기하고, 질문에 답하고 하느라 계속 스크린 몸으로 가리기도 하고 좀 어수선했던것 같아 아쉽더라. 에 음 어 같은 군말이 많은것도 아무래도 안고쳐지고 말이다 (영어로해서 더그런듯...). 그리고 긴장하다 보면 목소리 톤도 반옥타브 이상은 올라가는듯. 차분하고 멋있는 발표를 할수있도록 연습 많이 해야겠다.

두시간동안 여러 교수님들 박사님들 앞에서 발표하고 코멘트 듣고 한다는게 무척 좋은 기회인데 적극적으로 모임 소개해주시고 끼워주시는 교수님께 감사한 마음이고.. 실제로 어떤포인트를 관심있게 보시는지 등을 들어보면서 도움이 많이 된듯하다. 아무튼 연말연시를 이거 하면서 보냈으니 앞으로는 다시 메인 연구에 집중해야겠다.

Facebook에서 이 글 보기: 링크

최신의 text-to-image generation 모델들: archetype에 대한 창의적 재조합자의 출현

 페친분들이 올리셔서 알게된 https://app.wombo.art 라는 사이트에서 text-to-image generation을 직접 해 볼 수 있다. 아무 문장이나 넣으면 상응하는 그림을 그려 주는데 창의적이라고 느껴질 정도로 무척 잘 해 준다. 지금까지 봤던 여러 신기한 AI 필터들이나 GauGAN 같은 것들에 비해서도 격이 다른듯...

그리고 진짜 이게 될까 싶은것도 척척 알아듣고 그려주는데, 기존에 학습된 오브젝트들만으로 하는게 아니라 즉석에서 구글링을 해서 뭔지 찾아내는 방식인 것 같음. 그것들을 가지고 기존에 없던 조합들까지 잘 표현해 준다는 것도 강점이고.

몇가지 잘된 예시들을 첨부한다 (하단 Facebook 게시물 링크). 대응되는 지시문은 각 사진 하단에 써 있다.

그런 면에서, 사람들이 인터넷상에 형성해 놓은 어떤 대상이나 개념에 대한 공통적 archetype을 얘가 뽑아낸 뒤에 재조합해 준다고 생각할 수도 있을 듯. 이런 게 있으면 좋겠다고 늘 생각했는데 기대 이상의 퀄리티로 실현된 기분임.

뭔가 상황을 표현하고 싶은데 방법이 떠오르지 않을 때 얘한테 시켜 보고 아이디어를 얻는다거나 할 수도 있을 것. 그 전에 이걸로 이것저것 해보는 것 그 자체가 재밌기도 하고... 다만 해보실 분들이 주의할 점은 사람과 관련된 건 주로 징그럽거나 선정적으로 되는 경우가 많아서 비위가 상할 수 있음. 첨부한 결과들도 사람에 따라 징그러울수 있긴 하다.

인공지능이 이미 여러 분야에서 활용되고 있지만 개인적으로 크리에이티브한 작업의 조수로서의 머신러닝에 특별히 많은 흥미와 기대를 갖고 있는데, 이런 방향으로 재밌는게 더 많이 나왔으면 좋겠다.

(+ 2022.05.28 내용추가: 그리고 요즈음은 diffusion model의 급격한 발전으로 이것보다 훨씬 선명한 이미지들도 만들어내기 시작했다 (물론 모델 크기와 학습 시간의 이슈도 당연히 있을 것이다). state-of-the-art에서 디퓨전 모델이 줄세우기를 하고 있는데 내 전공분야인 통계물리학에서 비롯된 모형이 머신러닝 커뮤니티에서 최전선에 쓰인다는 것이 놀랍고 신기하다.)

Facebook에서 이 글 보기: 링크

[Paper archive] Geometric decomposition of entropy production in out-of-equilibrium systems

Dechant, Andreas, Shin-ichi Sasa, and Sosuke Ito. "Geometric decomposition of entropy production in out-of-equilibrium systems." arXiv preprint arXiv:2109.12817 (2021).

(링크: https://arxiv.org/abs/2109.12817)

누군가 할수밖에 없지만 누가 먼저 해서 섭밋하느냐의 문제였던 그런 연구 같다. 저자 목록이 굉장히 쟁쟁한데, 확률열역학 전반에서 무척 유명한 Shin-ichi Sasa, 정보기하와 통계물리의 접점을 연구하는 Sosuke Ito, 그리고 thermodynamic uncertainty relation 쪽에서 논문을 많이 쓴 Dechant가 함께 연구했다.

비평형 상황에서는 순행 확률과 역행 확률이 달라서 세계가 비가역적으로 변화한다. 이런 비가역성의 정량적 척도가 바로 엔트로피인데 이 양은 평형일 때는 증가하지 않고, 비평형일 때는 증가한다. 그 증가량인 entropy production (EP)은 평형으로부터 멀리 떨어져 있는 상태를 유지하는것 그 자체에서 오는 기여분(houskeeping EP)과, 한 상태에서 다른 상태로 옮겨가는 과정에서 생성되는 기여분(excess EP)로 분해된다. 이러한 분해는 포말하게는 확률적 동역학의 경로확률 분포를 체계적으로 잘 쪼갬으로써 얻어진다.

그런데 파라미터를 바꿔가면서 이 결과값들을 다루다보면 매니폴드 상에서의 거리 혹은 divergence로 해석될 거라는 느낌이 들고, 일반적인 entropy type의 양들 자체가 사실 그렇게 해석되는것이 상당히 자연스럽다. 또한 EP의 서로 다른 요인들이, 그런 추상적인 공간 상에서 서로 다른 '방향'들로 구분된다면 아름다울 것이다. 본 연구에서 total EP 속의 세부구조인 housekeeping과 excess에 대해 그 작업을 진행한것.

그런데 함수에 대한 이러한 기하적인 의미부여는 이해와 활용에 많은 도움이 되지만 그 자체만으로는 아주 좋은 연구라기엔 좀 부족할수 있다. 결국 어떤 새로운 걸 할 수 있느냐, 혹은 기존에 어려웠던 걸 어떻게 쉽게 해 줄 수 있느냐가 중요할테다. 저자들은 열역학적 불확정성 관계(TUR)를, total EP가 아닌 housekeeping EP에 대해서도 보였다. 그리고 excess의 경우에는 아직 자세히 읽어보진 않았지만 optimal transport를 위한 프로토콜을 제시하는데 유용하게 쓰일수 있다는것 같다.

이제는 further decomposition에 대한 정보기하적인 해석도 차차 이뤄질듯하다. Housekeeping EP는 또다시 bDB와 as로 나눠지는데 내 경우에는 풀고 있는 모델에서 이 decomposition이 피타고라스정리와 비슷한 꼴로 써지는 걸 이미 관찰한바있다. 이는 housekeeping/excess에서처럼 무조건 기하적 의미를 가질수밖에 없는데 본 연구를 참고해서 그 정당화를 해보고, thermodynamic control 등의 관점에서 유용성도 찾아본다면 나름 재밌는 주제가 될 것 같다. 근데 빨리 안하면 누군가 먼저 할듯.

Facebook에서 이 글 보기: 링크

옆 학과에 재미난 연구실이 생겼다

상당히 하드코어한 물리학을 쓰는 것 같은 교수님(https://waves.snu.ac.kr/home)께서 전기과에 부임하셨다. Publication list에서 supersymmetry라는 단어가 보이길래 들어가 볼 수밖에 없었다 (학부 졸업할 시점까지 교양과학 책에서나 봤었던 supersymmetry는 페르미온과 보존 사이를 바꿔주는 변환을 말하는거니, 잘 모르지만 빛과 물질의 상호작용을 다룬다면 나올법해 보이기는 한다). PI께서는 학석박포 모두 서울대 전기에서 하셨고 (박남규 교수님 제자) 연구실 주제는 광학적으로 작동하는 지능시스템을 구현하는 것.

박남규 교수님 제자분답게 원래 플라스몬 제어 같은 걸 하셨고 그걸로 논리소자를 구현하는 관심사를 현재의 주제로 연결하신 듯하다. 예컨대 어떤 재료의 단위체에서 광신호의 인풋-아웃풋 관계가 비선형인데, 단위체들 사이의 연결관계를 desired statistics를 갖도록 편하게 엔지니어링할 수 있다면 그것을 인공신경망이라고 할 수 있을 것이다. 이런 관점에서 photonic AI로 연결이 되는 것 같다.

그리고 그러한 재료의 좋은 예가 바로 통계물리 내지는 재료러들에게 익숙할 disordered system, 혹은 scale-free network로 간주할수 있는 material인 듯하다. 이러한 매질에서 빛의 anomalous (특히 super)diffusion을 보는 논문도 있다. 아무튼 레귤러한 시스템보다는 이런 시스템들의 disorderedness를 엔지니어링함으로써 그 광학적 지능시스템의 특성을 효과적으로 조절하고 개선할 수 있는 모양. 아무튼 통계물리 붐은 와야한다...

사이트를 보니 학부 동기 한 명도 대학원생으로 있는것 같아 반갑다.

Facebook에서 이 글 보기: 링크

Parisi의 노벨물리학상 수상

올해 노벨물리학상은 마나베·하셀만, 파리시에게 주어졌다 (기사 링크: [속보]노벨 물리학상에 마나베·하셀만, 파리시). 스핀글래스에도 큰 기여를 했고 KPZ 모델의 P가 바로 이분이기도 하고... 이외에도 우리 분야에서 이름은 모르기 어려운 분이고 당장에 우리랩 신입생 석사지도교수의 지도교수시다.

내가 현재 하고 있는 일은 90년대 이후로나 발전한 stochastic thermodynamics에 기반을 많이 두고있어서 Parisi의 Replica method 같은 테크닉을 직접 사용할 기회는 사실 많지 않긴 한데... 여러 군데에서 예상치못하게 이름이 등장하는 분이라 그래도 신기하다. 예컨대 확률열역학의 기반이 되는 SDE 같은 것과 양자역학의 커넥션을 구체적으로 지적한 stochastic quantization이라는 토픽도 Parisi의 웤이라고 알고 있다 (사실 경로적분 포말리즘에 의해 통계물리와 양자역학이 연결되는 것은 잘 알려져 있는 것인데 stochastic quantization이라고 하는 것이 정확히 어떤 contribution인지는 아직 잘 모르겠다).

예전에 Renormalization group 등에서도 상이 나오긴 했지만 보통은 특정한 연구대상에 대한 성과에 노벨상을 주는거 같고 통계물리 일반의 이론적 기법에 수여하는 건 상대적으로 드문것 같았는데... 나름 독특한 색깔의 시상 같다. 암튼 안그래도 오늘 아침에 랩 사람들끼리 Barabasi를 필두로 한 복잡계 및 네트워크 과학 연구자들도 노벨상 받을만 하지 않나 이런 얘기 했는데, 이런 시상의 경향이라면 이쪽도 언젠가는 진짜 될수도 ㅎㅎ

Non-equilibrium collective phenomena workshop 2021 (NCP2021) 후기 - (2)

지난번 중간평가(?)에 이어, 워크숍이 다 마무리되고 나서 이번 워크숍에 대한 소감을 다시 정리해본다. 일단 각 분야 내용에 대한 생각은 뒤쪽으로 밀어두고... 내 관심분야 내지는 성향, 그리고 연구라는게 대체 무엇인지 등과 관련된 추상적인 잡생각이 많이 들었는데 그 얘기부터 써보겠다.

워크숍 내용과 직접 관련된 얘기는 아닌데 듣다보니 이런 생각들이 많이 들었다. 일단 나는 마음에 드는, 멋있다고 느껴지는 이론체계 내지는 사고방식 같은 게 있으면 거기에 꽂히는 편이다. 그래서 그런지 그걸 어디에 적용해볼수 있을지, 적용되는 사례가 있을지 찾아보고 생각해 본다. 그러다 보니 내가 떠올리는 토픽들은 주로 내가 좋아하게 된 방법론을 '적용할 수 있으니 해본다' 정도지, 현재 쟁점이 되는 중요한 문제를 해결해보겠다 이런 느낌이 아닌경우가 많다. 그런데 문제는 이게 과학도로서 가지는 건전한 태도인지, 그리고 좋은 연구를 할 수 있는 태도인지 걱정이 든다는거다. 반대로 비전, 목표에 대한 관심은 있는데 방법론 자체에서 재미를 못느낀다면 그건 오히려 더 고충이겠다 싶기도 하고. 하여튼 두 계기 사이에서 균형잡힌 변증법적 발전이 중요하지 않겠나.

예컨대 소프트매터 시스템도 현재로서는 특정 생체현상을 가능한 미니멀한 원리들로부터 규명하고자 하는 목적 그 자체보다는 내가 관심이 있는 이론 혹은 사고방식이 주로 그런 시스템들에 멋있게 적용이 되고 어느정도 설명을 하기 때문에 관심이 가는것에 가깝고... 정보기하 공부하다가 연장선상에서 보게 됐던 thermodynamic geometry 역시 포말리즘은 무척 마음에 드는데, 정작 그것들이 trivial하지 않게 적용된 논문들을 보니 팔자에도 없을거라 생각했던 (아마 앞으로도 그럴 가능성이 높긴한) 블랙홀 같은 무서운 것들이 튀어나왔었다. 요컨대 난 관심 방법론이 핵심적으로 역할을 하고있어서 따라가보면서 연습해볼수 있는 논문이면 관심대상들이 너무 저세상이더라도 따라가볼 의향이 있는데, 그런 취향이 계속된다면 말그대로 흥미본위의 공부일뿐 한정된 시간에서 너무 소모적이지 않겠나 싶은것.

공부뿐만 아니라 연구에서도 그렇다. 위에서 말한 것처럼 '할수 있으니까 해보는' 연습문제식 연구들은 그 과정이 재밌을지라도 그 결과가 정말로 큰 임팩트를 주기는 어렵지 않을까 하는 점 역시 느끼고 있다 (사실 물리과 학사졸업논문도 그렇게 습작식으로 주제를 선정해서 썼다). 그래도 누군가 했을 법도 한데 딱히 어디도 없는 계산들은 논문 부록에 써놓으면 citation이 꾸준히 생기긴 하던데... 하여튼 결국 이런것들이 쌓여 최신의 쟁점들에 대한 시야도 넓어지고, 시야가 생겼을때 그걸 실현해낼 맷집도 생기는것 아닌가 싶긴 하다. 그렇다고 무지성으로(?) 쌓아서는 안되고 일부러라도 능동적으로 생각을 그런쪽으로 끌고 가야 하는것 같다. 내 재미를 위해서 사회적 자원을 끌어써도 되는게 대학원의 장점이기는 하지만 그걸 위한 책임의식과 셀링이 당연히 필요한것이고, 꼭 책임의식이 아니라 철저히 내 커리어를 위해서라도 연구사적 맥락과 스토리는 확실히 잡혀야지.

하여튼 이번 워크숍에서 잘된 연구 혹은 잘된 발표들을 들어보니 이런 두가지 측면(방법론과 문제설정)의 상호작용이 뛰어난 경우가 많았다. 특히 보도자료 등으로 이미 익숙한 카이스트 김재경교수님 연구가 그랬는데, 수학적으로도 흥미로운데 그걸로 해결하려는 문제들이 엄청나게 실질적이고 중요한 것들이라는 인상이 들었다. 우리교수님 발표도 그랬고 나도 이를 뒷받침하는 더 훌륭한 대학원생이 되어야겠다는 생각을 했다. 교수님께서 바빠 보이시더라도 이런 애매한(?) 주제도 말씀 꺼내보면 은근히 좋아하시더라는 얘기도 있었으니 혼자 고민하지 말고 자주 말씀을 나눠야겠다 (특히 얼마전 구두자격시험의 방향설정과 관련해서 오랜만에 이런느낌의 고민?을 말씀드렸었는데 굉장히 잘 답해주시길래...).

다음은 내용적인 얘기 (간단히만). 일단 플랫밴드라는 토픽이 있었는데, 흔히들 고체물리에서 하듯이 운동량공간에서 밴드를 그리는데 그 밴드가 평평하게 생긴걸 플랫밴드라고 하더라. 지저분한 현상들이 사라지고 우리가 원하는 재밌는 현상들이 깔끔하게 잘 나타난다?는 느낌같은데 잘 이해를 못했다. 고체물리는 어렵다.

그 다음 주제는 population dynamics, game theory 쪽이었다. 이건 내용 자체보다는 그냥 이걸 보다가 내가 예전에 했던게 생각나서... 뭔고 하니 최적제어이론 수강했을때 했던 기말프로젝트다. 그때는 높았던 수업난이도를 잘 못따라가서 그냥 쉬운버전(?)의 최적제어 했던거라 부끄러움밖에 없었는데, 다시 열어보니 내용이 나름 생각해볼게 많다. 뭔고 하니 죄수의 딜레마를 연속적인 동역학으로 확장한 모형인 CAIPD에서, autonomous하게 두고 관찰하는게 아니라 플레이어 한명한테 인풋을 줘서 상대방한테 능동적으로 밀당을 해보겠다는 거였다. 최종적인 협력도가 전반적으로도 높아야 하고, 나랑 상대방의 협력도 차이가 너무 크면 한쪽이 자존심이 상하니까 그런 상황도 피하는 쪽으로 비용함수를 짰던 건데 이게 인간관계에 analogy가 꽤 되는듯해서, 연습 겸 강화학습 같은걸로도 해보고 랩 내부에 가끔 있는 취미발표시간(?)같은 데서 소개해 볼까 싶다.

양자 다체계에서의 ergodicity 연구는 지난번 글에 썼으니 생략하고, 마지막으로 인상깊었던건 quantum heat engine 쪽이다. 기대를 많이 하지 않았는데 무척 재밌었다. 관측 scheme에 따라서 일의 확률분포 개형자체가 완전히 달라지는 현상이, 양자적 효과라는 게 어떤건지 단적으로 보여주는 느낌이고... 만약에 생체계에의 적용보다는 펀더멘탈한 열역학 쪽을 할거라면 이런 쪽으로도 언젠가는 반드시 involve될수 있겠다는 느낌이 왔다. 무엇보다 위에서 말한 것처럼 여기서 사용하는 이론들이 꽤 간지가 난다(...)

마지막으로 물리 외적인 걸로 돌아와서 끝맺자면... 줌에서와 달리 오프라인에서 하니까 사람들과 직접 말씀나눌 기회도 살짝씩 있는 게 좋았다. 특히 학부시절 정하웅교수님 연구실에 몇번 나갔을 때 그곳 학생이셨던 박사님들께도 오랜만에 인사를 드리고 연구 얘기도 해봤다. 기관과 호텔 모두에서 방역과 안전에도 정말 많이 신경쓴 티가 났는데 사실 꼭 이렇게 했어야 하는지 모르겠지만 오프라인의 장점은 분명히 있는거구나 하는걸 체험을 좀 했다.

아무튼 이제는 본격적으로 현생을 살 시간인데... 뭐부터 해야할지도 정리가 좀 되었으니 오늘부턴 다시 해봐야겠다.

Facebook에서 이 글 보기: 링크