아시아태평양이론물리센터(APCTP) 본부 방문 소감

APCTP(아시아태평양이론물리센터)의 지원으로 하는 한국물리학회 통계물리분과 학술행사들은 여러 가지가 있지만, 이번 행사(140차 통계물리 월례회, 링크)는 다른 곳이 아니라 POSTECH 무은재기념관에 있는 APCTP HQ에서 열렸다. 포항공대는 두세번 와봤지만 APCTP에 직접 들어와 보는 것은 처음이었다.

전반적인 인상이 어땠냐면, 일단 적어도 HQ가 위치한 층은 시설을 상당히 잘 해 놓았으면서도, 여기가 바로 이론과학을 하는 곳이구나 하는 느낌이 확 든다 (고등과학원 갈때도 비슷하게 느낀다). 그리고 전시물이나 홍보물들도 워낙 잘 되어 있어서 이론물리를 상당히 대접해준다는 느낌이 들었다.

이게 포스텍 물리학과에서 그냥 만든 연구센터가 아니라, 실질적인 국제 기구로서 기능을 하게끔 국제 물리학계로부터 '유치'를 한 것이다 보니 더 여건이 좋은 점도 있는 듯하다.

약간 서울대 국제백신연구소랑 비슷하게, APCTP 유치 자체가 한국 과학계 국제협력사업의 쾌거였다고 알고 있다. 무려 Yang-Mills 이론의 양전닝이 초대 소장이었다고 한다.

아무튼 계속 지내면 어떨지 모르겠지만 방문객 입장에서는 인상이 굉장히 좋았고, APCTP HQ뿐만 아니라 포스텍의 다른 건물들도 신축의 경우 시설이 꽤 좋다. 특히 무은재기념관 바로 근처에 있는 건물은 내부가 무슨 국립미술관 내지는 코엑스처럼 생겨서 잘 되어 있고, 심지어 1층에는 테라로사가 입점해 있다. 포스텍 출신 지인들에게 물어보니, 우리 나이대가 졸업할 때쯤에 새로운 좋은 시설들이 많이 들어왔다고 한다.

이번 월례회는 개인 일정상 서울에 일찍 돌아와야 해서 이틀 일정 중 앞쪽 하루밖에 못 들었는데, 첫번째 톡은 내 분야와 굉장히 관련이 깊은, 미시적인 엔진들의 열역학에 대한 소개였다. 두번째 톡은 국형태 교수님의 은퇴기념 강연이었는데, 사실 나는 처음 알게 된 분이었지만, 최근에만 분과 행사에 잘 안 나오셨던 거고, 통계물리 및 동역학계(dynamical systems) 분야를 오랫동안 연구해 오신 분이었다.

동역학계를 연구해오신 교수님의 연구 여정에 관한 얘기도 재미있었지만 마지막에 과학문화 및 과학글쓰기 관련 말씀도 인상깊었다. 과학자들이 글을 투고할 수 있는 웹진인 APCTP의 <크로스로드>, 한국물리학회의 <물리학과 첨단기술> 의 편집위원 일을 오래 하셨고, 지금은 다름아니라 고등과학원 웹진 <Horizon>의 편집장이시라고 한다.

나도 과학 관련 글쓰기에 관심이 있는 입장에서, 그런 매체들은 어떻게 돌아가고 누가 담당해서 해 주시는 걸까 늘 궁금했었는데, 그리고 마침 전날에 대구에서 뵌 지인과도 과학글쓰기와 관련된 이야기를 나누었고 조언을 들었었는데, 의외의 곳에서 배경과 현황에 대해 들을 수 있어서 신기했다.

Facebook에서 이 글 보기: 링크

깁스 역설: 개수를 세서 물리학을 하기, 그리고 측정의 형식에 알맞게 생각하기

고등학교 때 했던 생각이 있다. 사람들은 흔히 '사과의 개수를 세는 것'을 수학 교과서에 나오는, 수학의 전형적인 예제로 생각한다. 하지만 내 생각에 굳이 따지면 사과의 개수를 세는 것은, 자연수라는 형식체계를, 이산화하기 쉬워서 자연수로 잘 기술되는 사과라는 현실세계의 대상에 적용했다는 점에서 엄연히 가장 원초적인 '물리학'에 해당하는 것 같다.

물론 수학교육에서 현실 예시를 들어가면서 하는게 학습에 중요하다거나 하는 게 있을 테니... 사과의 개수 세기를 진짜로 과학교과서로 옮겨야 된다는 건 아니고, 그냥 내 머리속의 농담 같은 관념적 재분류일 뿐이다.

그런데 사실 내 전공분야인 통계물리학 또한 결국에는 개수를 세는 것이다. 시스템의 디테일에 크게 상관없이 개수만 잘 세어도 꽤 많은 물리적 성질들을 얻을 수 있다는 메시지가 있다.

물리학이라고 하면 뭔가 시공간 위에서 연속적인 것을 다루기 위해 미적분을 열심히 해야 할 것 같은데, 개수 세는 것만으로 물리를 할 수 있다니 이상하게 느껴질 수 있으나, 사실 그 spirit은 사과의 개수를 세는 원초적인 물리학에서부터 예고되고 있는 것이다. 물론 통계물리학에서는 대상의 개수를 세는 게 아니라 그 대상들의 배열이 이루는 state의 개수를 세는 것이므로 조금 더 추상적이기는 하다.

이게 공연히 오랜만에 다시 생각난 이유는, 요새 지인에게 Gibbs paradox를 공부해서 소소하게 가르칠 일이 있어서, 개수를 세는 것에 대해 계속 고민하다 보니까 그랬던 것이다.

Gibbs paradox는 입자들이 이루는 상태의 개수를 셀 때 입자 종류의 구분불가능성 (쉽게 말해 순열permutation을 조합combination으로 바꿔주는) 을 정당화하는 근거가 무엇인지에 대한 질문이다. 두 종류의 기체가 서로 분리되어 있다가 섞일 때 엔트로피가 증가하는지 여부와 관련된 paradox of mixing과도 궁극적으로 동일한 문제인데, 생각할수록 이상한 점들이 많아서 결코 간단한 문제가 아니고 굉장히 흥미롭다.

이에 대해 내가 통계역학을 여러 해에 걸쳐 접하면서 나름대로 고민해서 가지게 된 결론의 얼개가, Jaynes라는 물리학/통계학/정보이론 쪽에서 유명한 분의 견해와 거의 같다는 걸 이번에 알게 되어서 꽤나 뿌듯하기도 했다.

그 결론을 대략 요약하자면 다음과 같다. 입자들이 구분불가능한지 여부를 다르게 생각했을 (think different) 뿐인데 엔트로피라는 물리량이 바뀌는 (physics does change) 것은 굉장히 이상해 보인다. 예를 들어 까만색 입자와 흰색 입자를 우리가 구분해서 보겠다고 마음먹으면, 그 두 종류의 입자들이 섞일때 엔트로피는 증가한다. 근데 구분 안하고 통째로 보겠다고 마음먹으면, 서로 섞여도 엔트로피는 증가하지 않는다. 엄연히 객관성을 기해야 하는, 그리고 실험으로 측정이 가능한 physical quantity인데 주관에 따라 달라진다니? 이게 우리가 흔히 역설이라고 생각하는 부분일테다.

그러나 사실 우리가 구분불가능 여부를 전적으로 임의로 정할 수는 없는 것 같다. 우리가 시스템을 관찰하는 device의 해상도 내지는 형식에 따라서, 구분가능성의 여부는 어느정도 제한을 받는다. 그리고 그 세팅 하에서 physical quantity의 측정값을 설명하는 가장 유용한 effective theory가 무엇인지도 정해진다.

단, 이때 주어진 해상도 내지는 형식 하에서 입자의 종류에 대해 얼마든지 얻을수 있는 정보를 일부러 무시하면 안되고 최대한 다각도로 조사를 해야 하는 것 같다. 이렇게 하면 'think'와 'physics' 외에도 'probe' 라는 새로운 층위가 들어오게 되고, 여기서 'probe different' -> 'physics does change' 는 비교적 자연스러워 보인다.

그렇다면 think 부분은 어떻게 되는 건가? 내 생각에 'think'를 완전히 임의로 할 수가 없고 우리가 가진 'probe'의 형식에 알맞게 올바르게 think해야 하며, 그렇게 하면 우리의 이론은 우리가 가진 probe 상에서의 올바른 physics를 준다. 그리고 probe가 바뀌면 그에 맞게 physics가 바뀌는 것 같다.

예컨대 나는 만약에 원자 하나하나에 이름표를 붙이고 그것들의 운동을 일일이 쫓아갈수 있다면 열heat은 모두 일work이 되고, 우리가 흔히 보는 스케일에서 엔트로피라는 개념은 없어진다고 생각한다.

(그런데 10^23개 기체 입자에 서로 구별되는 이름을 붙이려면 최소한 원자 76개 길이의 binary sequence 꼬리가 필요하고... 그런데 충돌 전후에도 그 꼬리표가 안 파괴되고 안정적으로 유지되려면 꼬리표의 크기가 훨씬 커야 할 것이고... 이런 걸 생각하다 보면 왠지 저런 일이 근본적으로 forbidden되는 이유가 있을 듯. 아닐 수도 있고 말이다)

또한, 두 종류의 기체 입자가 서로 무게가 다르다거나 (심지어 고전적인 공(ball)들인데 색깔(!?)이 다르다거나) 해서 혼합 전후에 물리현상에 변화가 생길 가능성이 있으면, 가능한 모든 수단을 동원해서 실험해 보면 그 차이는 측정이 되는 것이므로, 그것을 일부러 무시하고 구분불가능하다고 하는 건 wrongly think different하는 것 같다. 이것은 다름아닌 mixing paradox로서, 바로 위 문단에 말한 예시보다 조금 더 미묘한 듯하다.

Gibbs paradox로 돌아오면, 자유 공간을 떠다니는 이상기체 분자들에서 엔트로피를 1/N! 으로 나눠 주는 게 양자역학적 입자들의 구분불가능성 (identical particles) 때문이라고 하는 게 아주 틀린 말은 아닐 수 있다. 그런데 일단 눈에 보일 정도의 기체 덩어리는 완전히 thermalize 되어 있고 전혀 coherent하지 않을 텐데 양자적 구분불가능성이 과연 relevant할지 살짝 의문이기도 하거니와 (이부분은 그냥 내가 양자를 잘 몰라서 그런 듯), 사실 꼭 coherent한 wavefunction으로 기술되는 양자역학적 입자가 아니더라도, 입자의 종류 차이가 우리가 가진 device에서의 measurable physics에 영향을 안 준다면 얼마든지 구분이 불가능할 수도 있는 것이고, 그럴 때에는 양자역학적 입자들과 마찬가지로 계산상으로도 구분을 안해주는 게 맞는 듯하다.

원자나 분자 같은 기본 입자들의 살짝 특별한 점은, 축구공이나 농구공처럼 자세히 들여다보면 서로 조금씩은 다른 일상 속 거시적 물체들과 달리 (애초에 그런 물체들이 따로따로 떠다니면서 10^23개씩 모여 있을 수 없기는 하지만) 정말로 fundamentally identical해서 probe의 해상도에 무관하게 구분이 불가능하다는 것.

물론 극히 최근에는 Gibbs paradox를 resolve하는 방법과 관련해서, 일본의 Shin-ichi Sasa 교수님의 연구팀에서 2021년에 Journal of Statistical Physics에 게재한 논문(Quasi-static Decomposition and the Gibbs Factorial in Small Thermodynamic Systems, 링크)을 비롯한 대안적인 논변들도 있다. 이 부분은 잊어버려서 한번 더 살펴봐야겠다. 아무튼 이런 게 아직도 연구 중인 open question이라는 점이 인상깊다.

이렇듯 개수를 어떻게 셀 것인가 하는 원초적인 문제가, 비가역성과 열역학 제2법칙의 근원이라는 통계역학의 가장 근본적이고 머리아픈 문제와도 연관이 되어 있다는 점은 대단히 흥미롭다.

여담이지만 나는 현재 주목받는 딥러닝이 대체 왜 이렇게 성공적인지에 대해서도, 디테일을 제하고서도 고차원 공간에서의 counting을 통해 약간은 감을 잡을 수 있다고 생각한다. 실제 근거가 되는 연구 리포트들도 있다. 통계물리학을 이용하여 딥러닝의 작동원리를 부분적으로 설명하는 성공적 시도들이 꽤 많은 것도, 바로 이런 공통점 때문이 아닐까 상상을 해 본다.

흔히 양자역학에서 관측 여부에 따라 물리가 달라지는 게 이상하다, 관측이라는 게 대체 무엇인가 하는 고민이 대중적으로 잘 알려져 있다. 그러나 내 생각에 이 Gibbs paradox 문제가 비가역성의 근원 문제와 연결되는 지점을 비롯한 여러가지 통계역학적 고민들이야말로, 양자역학의 관측 떡밥에 만만치 않게 미묘하고 재미있으면서, 우리의 거시적이고 일상적인 고민들 (microstate와 macrostate를 정의하는 문제 -> 로또번호 다른 것들은 잘만 나오면서 123456은 왜 안나올까 등등) 과도 훨씬 깊게 연관이 되는 것 같다.

Facebook에서 이 글 보기: 링크

[도서 소개] 과학의 과학(Science of science) - 다슌 왕, 앨버트 라즐로 바라바시

우리 비평형 통계물리 분야의 옆집인 복잡계 물리학 분야에서 이번에 교양서 번역이 새로 나왔다고 해서 공유해 봅니다.

과학의 과학(Science of science), 다슌 왕, 앨버트 라즐로 바라바시 지음, 이은, 노다해 옮김, 도서출판 이김(2023).

도서 링크 (교보문고): https://product.kyobobook.co.kr/detail/S000210778375

<과학의 과학(Science of science)>은 이 책의 제목이면서, 저자인 Dashun Wang이 연구하는 '분야'의 이름이기도 합니다.

과학 활동이 어떻게 이루어지는지를 연구 대상으로 삼는다는 점에서는 광의의 메타과학 내지는 과학학으로서 과학인문학(과학철학, 과학사, 과학사회학)과 공통점이 많이 있으나, 과학 활동을 분석하기 위해서 인문사회학이 아니라 네트워크 과학을 필두로 한 복잡계 과학 및 데이터 사이언스를 주로 사용한다는 점에서는 과학인문학과도 방법론적으로 구분이 되는 것 같습니다.

h-index 등을 비롯한 과학 연구 실적지표를 제안하고 개발하는 '과학계량학(scientometrics)'과는 어떤 관계일지 궁금하기도 합니다.

또 다른 저자인 알버트 라즐로 바라바시는 90년대 후반부터 2000년대에 걸쳐 Reka Albert, 정하웅 교수님과 함께 인터넷 연결망의 구조 분석, 신진대사 네트워크 분석 등으로 scale-free network라는 개념을 데뷔시킨, 네트워크 이론 및 복잡계 물리학 분야의 거장이기도 합니다.

주로 네트워크 분석 방법으로 사회 동역학과 다양한 사회현상을 연구하시는 이은 교수님과, 역시 네트워크이론 전공으로 과학대중화 및 커뮤니케이션에 힘쓰고 계시는 노다해 선생님이 번역을 했습니다.

과학에 관심이 있는 제너럴한 독자뿐만 아니라 과학을 업으로 삼는 연구자들이 얻어갈수 있는 팁들도 많이 있다고 하니 많은 관심을 부탁드립니다.

Facebook에서 이 글 보기: 링크

Review on "A statsitical mechanics framework for Bayesian deep neural networks beyond the infinite-width limit"

옆 연구실에서 주도하시고 우리도 참여하는 이론기계학습 공부 모임에서, 이번에 나는 폴란드 출장에서 돌아온 직후인 10월 초에 발표를 하게 되었다. 이번에 소개할 논문은 NNGP (neural network as Gaussian process), NTK (neural tangent kernel) 류의 접근이 finite width라는 보다 현실적인 상황에서 어떻게 수정되는지를 이론적으로 살펴본 논문이다 (S. Ariosto et al., arXiv:2209.04882).

방법론으로서 통계역학이라는 것은 결국 엄청 커다란 state space에서 확률분포함수를 끼고 적분하는 것을 N이 무한대로 가는 극한에서 편리하게 계산하는 여러 테크닉들이라고 볼 수 있다. 이 논문에서도 overparametrized NN을 이론적으로 분석할때 나오는 커다란 적분들을 통계역학적으로 처리한다.

아직 끝까지 읽지는 못했는데, 데이터셋의 크기 P가 input dimension N0보다 크고 그 ratio가 상수로 유지되되 (overparametrized), 각각이 무한대로 가는 나름대로 현실적인 regime을 다룬다. 이는 NTK regime에 비해 발전된 것이다. 여기서 통계역학을 적용해서 적분을 잘 계산한 다음에, Breuer-Major theorem이라고 하는 비선형 함수들의 합에 대한 일종의 일반화된 중심극한정리를 통해 몇 가지 흥미로운 결론을 얻는다.

특히 hidden layer가 1개인 뉴럴넷에 대해서는 분배함수가 exact form으로 계산되어 풍부한 이론적 분석을 해 볼 수가 있으며, 또한 finite-width에서는 NN이 Gaussian process 대신 student-t process에 해당한다는 꽤 그럴듯한 논의를 한다.

사실 이 논문을 요새 스터디를 함께하는 옆 연구실 선생님의 소개로 알고 나서, 도쿄에 학회 갔을 때 이 저자 중 한 명의 포스터발표를 직접 들었다. 네이쳐 계열 저널 중에도 머신러닝 관련 저널이 있는데 거기에 낼 예정이라고 했던 것 같다.

(+추가: 네이쳐 계열의 머신러닝 관련 저널인 Nature Machine Intelligence에 2023년 말에 출판되었다. 이에 따라 본 포스트의 제목도 출판된 해당 버전의 논문 제목으로 변경하였다.

Nature Machine Intelligence 저널에서 논문 보기: 링크)

230915 NEST meeting 발표 후기 (Review on “Thermodynamic constraints on the power spectral density in and out of equilibrium”)

NEST meeting은 고등과학원 통계물리분과 교수님들 앞에서 학생들이 재밌게 읽은 논문을 ppt로 만들어서 소개하고 디스커션 하는 모임이다. Informal atmosphere의 모임이라고 하지만 ppt에 있는 계산 과정이 납득이 될 때까지 한줄 한줄 함께 봐주시기 때문에, 모임 준비의 주관적인 존재감은 꽤 큰 편이고 많은 공부가 된다.

이번에 내가 소개한 논문(링크: arXiv:2306.00417.)은 일본 교토대의 Andreas Dechant가 이번에 올린 아카이브 프리프린트인데, 확률적 물리계에서 Power Spectral Density (스펙트럼, 쉽게 말해 주파수별 신호의 세기) 의 모양이 열역학적 원리에 의해 제약이 된다는 꽤 멋있는 논문이다 (슬라이드 첨부, 하단에 내용 요약).

시스템의 PSD를 보는 것, 즉 무작위 시스템을 주파수 영역에서 분석하는 것은 시스템의 특성 이해에 매우 유용하므로 통신, 소자 및 여러 물리분야에서 표준적으로 쓰인다. 우리 비평형 통계물리 분야에서도 20세기 초중반에 확립된 linear response theory에서 이러한 접근이 많이 발달했다. 특히 fluctuation-dissipation relation은 계가 평형에 있을 경우, 계에 가해지는 요동의 PSD와, 계가 외란에 응답하는 방식이 주파수 영역에서 특정한 함수관계를 만족해야만 한다는 것을 알려주어 이론과 실험 양쪽에서 무척 유용하다.

그러나 참 이상하게도, 20세기 최후반에 등장하여 현재까지 활발히 연구되는 새로운 도구인 '확률열역학'(stochastic thermodynamics) 에서는 2005년의 Harada-Sasa relation 정도를 제외하고는 주파수 영역에서의 접근이 영 드물었다.

확률열역학에서는 주로 평형으로부터 미소하게 멀지 (linear response regime) 않고, 임의의 큰 정도만큼 멀리 떨어진 (far from equilibrium) 계를 다루며, 이때 비평형의 정도를 정량화하는 방법은 결국 비가역성의 척도인 '엔트로피 생성량'이다. 비평형에서만 가능한 여러 에너지 및 물질의 흐름들과 이례적 응답 방식들이 있는데, 이들이 선명하게 나타나려면 그에 상응하는 충분히 큰 엔트로피 생성량이 필요하다. 이를 명시적으로 밝힌 TUR, speed limit, EB 등의 부등식들이 지난 10년에 가까운 시간 동안 여럿 등장했다. 주파수 영역에서도, 이처럼 엔트로피 생성량에 의해 PSD의 모양이 제약되는 현상이 있다면 좋을 것이다.

이 논문에서는 PSD의 꽤 복잡한 표현식과 그것에 대한 더욱 복잡한 변분 표현 (variational expression)을 바탕으로, 임의의 확률적 계에서 PSD의 그래프가 가질 수 있는 상한선과 하한선을 제시한다.

과정의 세부는 매우 복잡하지만, 기본 아이디어를 기억하면 좋은 가이드라인이 된다: PSD의 푸리에 역변환인 autocorrelation function은 계가 시간에 따라 relax되는 (혹은 비평형의 경우 진동하는) 구조를 알려준다. 가만히 있는 것 같은 시스템도 시간에 따른 변화를 겪고 있으며, 그러한 동역학적 구조를 보기에 가장 좋은 방식은 바로 조건부확률이다.

이러한 조건부확률의 푸리에 변환을 바탕으로 PSD가 상당히 우아한 quadratic form 형태로 써지는데, 이에 대한 또다른 ㅡvariational한ㅡ 표현을 억지로 찾은 뒤에, 그 표현상에서 영리하게 '덜 optimize' 함으로써 PSD의 상한과 하한을 얻게 된다. 슬라이드에서 볼 수 있듯이 상한과 하한 모두 굉장히 스펙트럼스러운(?), 1/(a^2 + w^2) 형태를 가지므로, PSD의 asymptotics를 얘기하기에 아주 좋은 구조이다.

여기에 등장하는 상수들에도 물리적 의미를 부여해볼수 있는데, 1/lambda*의 경우, 주어진 시스템에 대응되는 평형 시스템에서의 가장 느린 relaxation time scale에 해당한다. 즉 주어진 시스템으로부터 만들어낼 수 있는 가장 느린, '가장 평형스러운(?)' 시간스케일이라고 할수 있다. 반대로 C_diss의 경우에는 엔트로피 생성의 총량과 직접 관련이 되어, 가장 '비평형스러운' 값이라고 할 수 있다. 이 두 가지 값이 절묘하게 조합되어 PSD의 asymptotics를 이루게 된다.

Facebook에서 이 글 보기: 링크

양자장론 스터디 계획: 대칭성과 물리법칙, 장론적 기술방법

이론물리학의 변방에 있는 비평형 통계물리를 전공하면서, 내 세부전공 외의 이론물리를 잘 모르는 게 늘 컴플렉스였다. 정작 수업 들을 때는 잘 못 따라갔으면서 최근에 늦바람(?)이 든 덕분에, 양자장론의 이론적 구조를 늦게나마 취미삼아 살펴보기로 했고 그 예비로서 고전장론을 대강 보고 있다.

구체적인 모티베이션 없이 막연한 흥미로 공부할 때보다, 그 동안 물리덕질을 하면서 내 나름대로 가지게 된 물리학에 대한 전체상, 그리고 여러 수업에서 파편적으로 배운 개별 사실들을 바탕으로 해서 '꼭 알고 싶었던 질문거리'들을 몇 가지 정해두고 그것들을 중심으로 진행하니까 훨씬 빠르고 수월한 듯하다. 그 중심 질문거리들은 주로 대칭성이 물리법칙을 제약한다는 것이 무슨 의미인지와 관련되어 있다.

먼저 장론의 라그랑지안 역학체계로의 기술방법에 익숙해지기 위한 가장 쉬운 방법으로서, 고전적인 장의 대표 예시로서 진동하는 1차원 끈의 역학에 대한 연속체 라그랑주 역학을 살펴보고 국소적 보존법칙들을 얻는다. 그 다음에 라그랑지안 기술방법에서 장 자체의 변환(게이지 변환 등)과 좌표 변환을 모두 커버할 수 있는 뇌터 원리를 바탕으로, 위의 보존법칙들을 연속변환에 대한 대칭성과 일반적으로 관련지어 다시 수립한다.

고전장론에서 살펴본 두번째 주제는 전자기학을 새로운 관점에서 이해하는 것이다. 먼저 기존에 전자기학에서 학습한 elementary한 표기 방법에서도 로렌츠 게이지를 택하면 SR compatibility가 이미 시사되고 있음을 알 수 있다. 맥스웰 방정식, 전하량 보존을 나타내는 연속방정식 등이 민코프스키 계량을 끼고 있는 4-벡터 표기법에서 시간과 공간이 동등하게 보이는 매우 간결한 형태로 Lorentz covariant하게 표현된다. 알려진 전자기학 법칙들에서 시간과 공간이 함께 등장하는 물리현상들은 뉴턴의 고전역학처럼 굳이 특수상대론을 따로 도입해서 수정되는 것이 아니라, 이미 특수상대론에 부합하는 구조를 가지고 있던 것이다.

특히 게이지 변환에 대해 field들이 불변이려면 전기퍼텐셜과 벡터퍼텐셜의 변환규칙이 특정한 관계를 만족해야 했는데, 게이지 변환의 이러한 형태 역시 4-벡터 표기법으로 매우 자연스럽게 합쳐서 쓸 수 있다. 이렇게 명시적으로 로렌츠 공변인 표현 상에서 전자기장의 게이지 불변성을 증명해 본다.

다음으로는 전자기장의 라그랑지안 기술방법을 살펴본다: 즉 주어진 라그랑지안이 최소 작용의 원리를 통해 맥스웰 방정식을 올바르게 준다는 것을 살펴본다. 이러한 라그랑지안 기술방법에서 뇌터 원리를 적용하면 전자기 에너지 밀도에 대한 국소적 보존법칙을 얻는다.

또한 거시적 하전입자와 어떤 벡터퍼텐셜(맥스웰 방정식 등을 전제하지 않은)을 합친 액션을 로렌츠 공변하게 쓰는 것만으로 로렌츠 힘의 공식이 나오며, 라그랑지안이 로렌츠 공변인 스칼라여야 한다는 것에 더하여 게이지 변환에 대한 대칭성을 요구하는 것만으로 몇가지 간단한 논리로 전자기장의 라그랑지안(즉 맥스웰 방정식)이 자연스럽게 도출되는 것을 밝힌다. 이렇듯, 변환에 대한 대칭성 요구조건만으로 물리법칙을 기술하는 구체적인 방정식을 얻을 수 있는 것이다. 현재 공부한 범위 내에서는 일단 이 부분이 가장 하이라이트다.

이렇게 대칭성 요구조건에 의해 물리법칙이 제약되는 것은, 기존에 알려진 물리법칙의 필연성(?)에 대한 느낌을 갖는 것뿐 아니라, 일반상대론과 양자장론 등에서 아예 기존에 몰랐던 새로운 물리법칙을 얻는 데 대한 가이드라인이 되어 커다란 성공으로 이어졌으므로 가히 현대 이론물리학의 요체가 아닐까 한다.

다음으로는 양자역학의 슈뢰딩거 방정식에서 전자기 퍼텐셜이 들어오는 방식 또한 4-벡터로 간결하게 표현됨을 살펴본다. 이때 전자기 퍼텐셜의 게이지 변환에 대해 이 시스템이 불변이려면 파동함수의 위상 또한 알맞게 변환되어야 함을 이해한다. 또한 이러한 슈뢰딩거 방정식 기반의 파동함수 기술방법이 언제 한계에 봉착하는지 생각해 본다. 그럼에도 이 내용을 살펴보는 이유는 아래에도 쓰겠지만 디랙필드에서 전하량 보존을 논의할 때 게이지 변환에 의한 필드의 위상 변화를 고려해야 하는 등, 양자장론에서 나오는 개념들에 대한 예비로서 중요성을 가지기 때문이다. 여기까지가 지난 일주일간 정리해본 결과다.

앞으로는 본격적인 양자장론으로 넘어가기 위해, 먼저 이러한 진동하는 끈을 정준 양자화하여 bosonic field에 대한 비상대론적 양자장론을 얻고 경로적분 기술방법도 살펴볼 것이다. 또한 Klein-Gordon field와 같은 질량이 있는 장도 같은 방법으로 양자화해 본다. 다음으로 bosonic field의 교환자 관계를 반교환자 (anticommutator) 관계로 대체함으로써 고전시스템에 비유되기 다소 어려운 fermionic field도 기술해 보고 이로써 양자장론에 한층 더 익숙해지도록 할 것이다.

또한 응집물질 물리학에서 속도가 충분히 느린 입자들을 기술할 때는 이러한 비상대론적 양자장론이 실제로 유용하다고 알고 있는데 보조 교재를 통해 이것들의 구체적인 예시를 공부한다.

다음으로는 본격적으로 상대론적 양자장론을 살펴본다. 거시적 하전입자를 다루는 고전 전자기학에서 했던 것과 유사하게, Dirac field에서 로렌츠 공변성과 게이지 대칭성을 요구하는 것만으로 quantum electrodynamics의 라그랑지안을 얻는다. 대칭성을 요구함으로써 기존에 알지 못했던 법칙을 얻은 것은 이것이 처음이므로 검증이 필요한데, 이 이론을 통해 어떠한 주요 개별 현상들이 설명되는지도 기초적인 수준에서 알아두도록 한다.

또한 여기서 디랙 장의 위상 변환이 관여된 뇌터 원리를 통해, 게이지 변환에 대한 QED의 불변성에 대응되는 보존법칙이 다름 아니라 전하량 보존이라는 것을 알아본다. 또한 스핀 값이 교환자관계를 어떻게 제약하며 (spin-statistics theorem), 각 스핀 값에 대하여 어떠한 양자장론이 존재하는지를 살펴보기로 한다.

다음으로 양자전기역학이 gauge theory로서 gauge boson을 가져야 한다는 것의 의미와, 그러한 게이지 보손이 전자기력의 '매개 입자'라고 불리는 이유, 그리고 그것이 바로 우리가 아는 빛(전자기파의 양자로서의 광자)과 연결됨을 공부해 본다.

물론 아직 고전장론만 살펴본 상태이고, 공부해보지 않은 양자장론 부분에 대해서는 내가 질문거리들을 말이 되게 설정했는지조차 불명확하므로 이 개요 또한 향후 공부하는 과정에서 얼마든지 수정이 될 수 있다. 또한 구체적인 문제상황을 예측하기 위한 계산테크닉보다는 껍데기같은 주요 이론 유도 위주로만 빠르게 살펴보는 것이 과연 의미가 있을까 싶어 걱정이긴 한데, 상술한 주요 질문거리에 답하는 정도로 생각하면 괜찮지 않을까 한다. 전공 내용 관련 블로그가 반년 넘게 개점휴업 중인데 이러한 내용들을 정리해보면서 다시 살려보려고 한다.

마지막으로는 양자장론에서의 기타 개별 토픽에 대해 살펴본다. 현재 생각으로는 어디선가 주워들었던 주제들을 아주 대략적으로라도 한번씩 살펴보자는 느낌인데, 지금 관심이 가는 주제들로는 양자장론에서는 양자 얽힘이 어떻게 기술되며 어떠한 현상들이 존재하는지 알아보는 것, 그리고 이러한 이론들에 topology가 들어오는 배경과 그 중요성을 이해해 보는 것 등이 있다. 또한 통계역학에서도 많이 언급되는 conformal field theory가 무엇이며 왜 중요한지 이해해 보고, 이와 관련된 가장 심화된 주제로는 중력이론과의 대응성도 살펴볼수 있으면 좋을 것이다.

Facebook에서 이 글 보기: 링크

[논문 소개] Effects of the self-propulsion parity on the efficiency of fuel-consuming active heat engine

제 첫번째 1저자 논문(연료를 소모하는 능동열기관의 효율에서 자체추진력의 부호성질의 효과)이 Physical Review E에 출판되었습니다. (English description: below)

Bibliography: Yongjae Oh and Yongjoo Baek, "Effects of the self-propulsion parity on the efficiency of fuel-consuming active heat engine," Physical Review E 108, 024602 (2023).

Physical Review E link: https://lnkd.in/g6ASjWwp

arXiv preprint link: https://lnkd.in/gzyEKueJ

충돌에 의해 수동적으로 움직이는 일반적인 기체 대신에 에너지를 소모해 가며 스스로 헤엄치는 물질을 '능동 물질'이라고 합니다. 이러한 물질을 이용해서 엔진을 만들게 되면, 겉보기 효율이 전통적인 카르노 효율보다 높아질 수 있고 심지어 고온부와 저온부가 없이 하나의 온도로 된 환경 (예: 생물학적 계) 에서도 작동할 수 있습니다.

능동 열기관에서 정의되는 겉보기 효율은 전통적 효율로부터 자연스럽게 생각해낼 수 있으며, 또한 통계적 윤곽에 따른 유효 온도로부터 정의되므로 실험적 측정이 쉽습니다. 또한 전통적 한계를 넘는 상황을 잘 표현해주므로 중요합니다. 그러나 이러한 이례적으로 높은 효율이 정확히 어떠한 열역학적 원리에 의해 어디까지 가능한지는 이야기 해주지 못한다는 한계가 있습니다.

이는 입자가 헤엄치기 위해 필요한 숨겨진 에너지 흐름을 고려하지 않거나, 열(heat)과 일(work)을 올바르게 구분하지 않고 statistical profile을 바탕으로 유효적로만 다루어서 요동과 소산의 열역학적 구조를 적절히 밝혀주지 못하기 때문입니다.

이 논문에서는 먼저 연속적인 확률적 동역학에서 두 변수가 커플링되는 일반적인 이론적 구조를 제안합니다. 계가 열역학적 평형에 도달하려면 각 변수가 힘을 주고받는 구조에 대칭성(혹은 반대칭성)이 있어야 한다는 Onsager의 이론과 관련이 있습니다.

다음으로, 어떤 입자의 공간적 움직임에 연료 소모를 커플링시키고, 연료가 소진되지 않도록 chemical potential을 상수로 고정시킵니다. 이렇게 하면 그 입자는 상시적으로 평형으로부터 멀리 떨어진 능동물질이 됩니다.

그런데 이때 위에 말한 이론적 대응구조를 이용하면, 연료 소모량의 동역학이 확정되게 됩니다. 이렇게 써내려간 연료 소모의 동역학을 포함해서 열역학 제 1법칙을 쓰면 열을 정의할 수 있는데, 여기서 정의한 열이 확률적 개념으로부터 정의된 엔트로피와 정확히 일치한다는 것을 확인했습니다. 이렇게 엔트로피가 확률적인 개념으로부터 출발하는데도 단순히 비가역성의 statistical signature만 캡쳐하는 것이 아니라 정확한 에너지적 해석까지 갖는 모형을, 열역학에 부합하는 모형 (thermodynamically consistent model) 이라고 합니다.

이러한 엔트로피를 바탕으로 효율을 정의할 수 있는데, 이 효율 식의 분모에는 열과 연료 소모율(->일)이 둘 다, 그리고 서로 다른 비율로 들어가 있습니다. 이는 저희가 알기로 기존에 보고된 바 없는 식이지만, 사실 기존에 알려진 두 효율 식 (전통적 열기관 / 화학적 나노기계들) 의 자연스러운 interpolation 입니다.

이 양은 thermodynamically consistent하게 구성되었으므로 겉보기 효율과는 달리 명료한 에너지적 의미를 가지게끔 능동성의 근원을 밝히고 있으며, 또한 열역학 제 2법칙의 결과이기 때문에 늘 1보다 작다는 명확한 상한을 갖게 됩니다. 또한 이 효율을 가지고 위에 언급한 겉보기 효율도 recover할 수 있는데, 이 양이 카르노 효율을 넘을 수 있게끔 하는 에너지 흐름이 다름아니라 화학적 연료 소모임을 알 수 있습니다.

이 효율의 또다른 장점 중의 하나는 바로 시간 뒤집기에 따른 부호성질(parity)의 효과를 논할 수 있다는 것입니다. 능동입자의 추진력은 그 메커니즘에 따라 시간을 뒤집었을 때 그 부호가 바뀔수도 (odd parity), 유지될 수도 (even parity) 있습니다. 열역학에서 효율을 깎아먹는 요인은 바로 비가역성인데, 비가역성은 다름이 아니라 시간 뒤집기 변환 하에서의 비대칭성의 크기와 관련이 있으므로 이 둘의 효율 값은 달라야 합니다.

겉보기 효율로는 이 두 부호성질에서의 효율 차이가 캡쳐되지 않는데, 우리가 정의한 새로운 효율은 부호성질에 따라 달라지게 됩니다 (이 역시 thermodynamically consistent하게 해서 그렇습니다). 둘 중에 누가 더 효율적일지의 criterion은 unexpectedly 매우 간단하게 주어지는데, 엔진의 공간적 크기가 클수록 odd가, 작을수록 even이 더 효율이 높게 됩니다. 이러한 관찰은 직관적인 해석도 가능하며, 향후 마이크로미터 크기의, 잡음이 많은 환경에서 작동하는 기계를 디자인할때 좋은 참고가 될 수 있습니다.

Physical Review E는 미국물리학회에서 PRL, PRX 같은 최고 저널은 아니지만 준수한 논문들이 올라오는 각 부문별 저널 (PR A~E)의 하나로, 통계물리학 전공 연구자로 첫발을 뗀 느낌이라 이곳에 게재된 것을 기분좋게 생각합니다. 첫 연구를 정리하는 데 상당히 오래걸렸는데 그 과정에서 풀고 싶은 문제들이 많이 생긴 점은 다행이고, 앞으로의 학위과정 동안 이들 문제에 대해 의욕적으로 다루어보고자 합니다.

My first first-authored paper "Effects of the self-propulsion parity on the efficiency of a fuel-consuming active heat engine" is published in Physical Review E, an APS journal covering statistical, nonlinear, biological, and soft matter physics.

PhysRevE link: https://lnkd.in/g6ASjWwp

arXiv preprint link: https://lnkd.in/gzyEKueJ

This paper is motivated by the issue of describing the performance of 'active heat engine'. Active heat engine is an engine utilizing 'active particles' (or self-propelled particles) as its working substance instead of usual 'passive' gas particles. In this kind of engine, the efficiency can apparently be higher than the Carnot efficiency. This is important because it describes the engine operating at isothermal environment (such as biological systems), which is a behavior beyond the traditional limit.

However, this 'super-Carnot' behavior is possible because we neglect some hidden energy injection, or because we do not properly distinguish the concept of heat and work, just viewing the statistical signature of the dissipation as a whole. Therefore, this apparent efficiency lacks the relation with the fundamental laws of thermodynamics.

In this paper, we first develop a theoretical framework which guarantees a coupled continuous stochastic system reach thermodynamic equilibrium at the absence of external driving. Next, we couple a colloidal particle's positional coordinate with a constant chemical driving. Then the particle is kept far from equilibrium, resembling the dynamics of a renowned model of active particle 'active Ornstein-Uhlenbeck particle (AOUP)'.

Through this, we can describe how far the particle is deviated from equilibrium, not just from the statistical signature (breakage of fluctuation-dissipation relation), but from the clear energetic interpretation of the origin of activity. We think of an engine using this fuel-driven AOUP as its working substance.

Using the standard tool of 'stochastic thermodynamics', we successfully relate the heat dissipation (which is an energetic concept) with the entropy production (which is a probabilistic concept). Through this, we define a novel, 'thermodynamically consistent' concept of efficiency, which contains both heat injection and chemical fuel consumption in the denominator. This efficiency is properly bounded from above by the second law of thermodynamics.

A major advantage of this new efficiency is that we can address the effect of the 'parity' of particle's self-propulsion. The 'parity' means that whether the particle's self-propulsion does change its sign under time-reversal (odd-parity) or it does not (even-parity). Distinguished by a surprisingly simple criterion with clear meaning, engine with even-parity AOUP is efficient when the engine's spatial size is small, while the odd one is efficient when its spatial size is large.

If you are further interested, we welcome all your helpful comments, questions and exploration for future collaborations.

LinkedIn에서 이 글 보기 (English): 링크

Facebook에서 이 글 보기: 링크

혼돈의 가장자리에서의 계산, 언어의 멱법칙 그리고 어텐션 메커니즘

옛날에 물리학자들이 computation in edge of chaos (혼돈의 가장자리에서의 계산) 이라고 해서, 창발적인 정보처리 시스템 (말하자면 일종의 아날로그 계산기)가 바로 임계점 (criticality), 즉 혼돈과 질서의 경계 근처에서 작동을 잘 한다는 연구를 많이 했었다. 주로 세포 자동자(cellular automata)를 바탕으로 한 연구들인데, 이런 개념이 90년대 당시의 신경망 연구에도 나름 적용이 시도되었던 것으로 안다.

딥러닝 붐 이후의 deep information propagation이라는 일련의 연구 흐름에서도 꽤 비슷한 메시지가 있다. 정보가 뉴럴넷의 layer를 따라서 충분히 깊게까지 전파되려면 뉴럴넷의 파라미터들이 임계점 근처로 초기화되어 있어야 한다. 그런데 untrained 뉴럴넷에서의 정보 전파의 평균 깊이는, 다름아니라 훈련 가능성 (trainability) 과 dual 관계임이 알려져 있다. 따라서 뉴럴넷이 학습이 잘 되기 위해서는 임계점 근처에서 초기화 되어야 한다는 것이다.

그런데 현실의 딥러닝에서는 이런 이상적인 뉴럴넷이 아니라 복잡한 기법이 덕지덕지 붙어 있는 아키텍쳐를 사용하는데, 과연 이러한 empirical한 상황들에서도 위와 같은 얘기가 의미가 있을까? 현재까지 생각하기로는, 정답은 '있다'인 것 같다. 대표적으로, 유명한 ResNet 모델처럼 skip connection을 주면, gradient가 exponentially explode하지 않고 따라서 뉴럴넷이 edge of chaos에 더욱 효과적으로 머무른다(hover)는 연구가 있다.

이외에도, 모델이 vanilla하고 단순할수록 임계점에서 쉽게 멀어져 버리고, 복잡한 기법들이 덕지덕지 더해졌을때 오히려 임계점 근처에 잘 머무를 수 있다는 생각은, 물리에서 스스로 짜인 임계성 (self-organized criticality) 이 왜 그리 특별하게 받아들여지는지 상상해 보면 그리 이상하지 않은 것 같다. 사실 내가 SoC를 제대로 공부해본건 아니어서 부정확한 상상일수도 있지만 말이다.

그리고 이런 식의 각론을 떠나서, 너무 질서있지도, 너무 혼란스럽지도 않은 딱 중간지점에서 자명하지 않고 재미있는 현상들이 나타날 것이라는 게 복잡계 과학을 연구하는 통계물리학자들 사이의 어떤 믿음이기도 하다. 그리고 통계물리학자라면 finite-size effect라는 이름으로 많이 들어 보았겠지만, 시스템의 크기가 무한하지 않을 때 이러한 혼돈의 경계는 sharp한 경계선 (메져 제로) 이 아닌 유한한 영역으로 뭉개지게(?)되고, 따라서 파라미터를 잘 고르면 실제로 달성이 가능하게 된다.

위와 같은 맥락에서 최근에 나는 트랜스포머의 셀프-어텐션 메커니즘 기반의 거대 모델들이 임계점 근처에서 작동할 거라는 상상을 하고 있다. 이거는 위의 맥락뿐 아니라 조리있는 언어 데이터 (요즘 말로 하면 거대언어모델의 출력데이터) 가 멱법칙을 보인다는 오래 연구된 관찰과도 합치한다. 그런데 이상하게도 이것을 직접 다루는 논문은 물론이고 간접적으로 시사하는 논문도 그리 많지는 않으며, 임팩트가 높지 않은 논문들만이 몇 건 있다.

복잡계 과학이라고 하는 분야가 임계현상, 혼돈의 경계, 비선형성, 자기조직화 임계성 등의 키워드 그 자체만으로 대단한 흥밋거리와 떡밥이 되는 시절은 아쉽게도 좀 지나가긴 했다. 그래도 물리학 및 인접분야 사람들이 이런 걸 분명히 많이 알고는 있을텐데 최근의 트랜스포머 기반의 거대모델에 대해 많이 적용을 안 한 것을 보면, 이미 다 계산해 봤는데 별다른 재밌는 게 안나오거나, 아니면 충분히 가능한 픽쳐인데도 아직 어려워서 안하거나 둘 중 하나일 것이다. 똑똑한 사람이 워낙 많으니 전자일 가능성이 높겠지만... 이쪽을 한번 공부하고 탐구해 보아도 재미있을 것 같다.

Facebook에서 이 글 보기: 링크

정보열역학(information thermodynamics) 공부의 계기

최근에 생각중인 주제는 여러 구성요소가 있는 시스템에서 협력 및 동기화라는 현상을 정보 교환이라는 관점에서 보는 것이다. 물리학에서의 정보라는 것은 일상에서의 정보와 상당부분 통하기는 한다. 그런데 정보가 많다 혹은 적다 라는 것이, 상황과 해석에 따라 일상에서의 의미와 같을 때도 있고 다를 때도 있다 보니 처음엔 상당히 헷갈릴 수도 있다.

통신이론에서 출발하여 전기전자공학에서 널리 언급되는 섀넌의 정보엔트로피가 물리학자들의 엔트로피와 기본적으로 동일한 양이라는 점은 널리 알려져 있는데, 정보열역학이라고 하는 분야는 에너지 교환뿐만 아니라 정보 교환(계의 구성요소가 서로의 상태를 탐지해서 피드백을 주는 것)까지 포함해서 열역학을 기술하고자 하면서 그 둘의 구체적 접점을 보다 비자명하게 탐색한다.

정보열역학 하면 주로 맥스웰의 악마, 질라르드 엔진(Szilard engine) 같은 아주 단순화된 모형계에 대한 연구를 떠올린다. 이것이 2000년대쯤부터는 Sagawa, Parrondo 등의 여러 파이오니어를 통해 연속적 동역학을 가진 시스템들에까지 확장되었고, 극히 최근에는 생체계에서의 정보처리 (정보교환이 있어야 생체 내 과정들이 정밀해짐. Leighton and Sivak 등) 혹은 아예 란다우어 원리를 필두로 한 미시적 계산장치들에 대한 이론적 분석 (Wolpert, Crutchfield 등) 등에도 적용되고 있다. 후자의 경우 나는 아날로그 딥러닝의 효율 분석 및 개선에도 적용될수 있을거라고 전망하고 있다.

내가 정보열역학에 관심이 생긴 것은 정보라는 것이 통계열역학 분야의 외곽에 약간 억지로(?) 들어와 있는 것이 아니라, 시스템을 두 하위 시스템으로 쪼개는 단순한 처리만으로도 매우 자연스럽게 정보의 개념을 고려하게 되므로 상당히 중심적인 양이라는 생각을 하게 되어서 그렇다. 즉, Szilard engine에서의 measurement and feedback을 통한 정보 처리 과정은 사실 아주 특별하고 새로운 것이 아니며, 상호작용하는 여러 구성요소를 가진 물리계라면 으레 존재하는 것이다.

각 하위 시스템에 대해 2법칙을 썼을 때, 전체 시스템에는 정보 개념이 없더라도 각 하위 시스템에 대한 2법칙에는 정보 개념이 들어가게 된다. 만약에 협력하는 여러 개체로 구성된 어떤 기계가 바깥에 유용한 일을 해 줄 때, 각 개체의 열효율을 2법칙에 부합하게 쓰면 그 효율에도 정보개념이 들어간다. 전체 효율과 하위시스템의 효율이 어떤 관계가 있는지, 정보교환이 클때 여러가지 이례적 현상들이 나타나지는 않을지 등을 연구하면 재미있을 듯하다. 이는 우리 연구실의 중심 토픽인 active matter의 집단현상에서도 중요할 수 있지 않을까 생각한다. Active matter가 일으키는 여러 재미있는 현상들의 가장 중심에는 결국 주변 환경에서 특정한 종류의 신호를 강화시키는 정류(rectification) 효과가 있다고 믿고 있는데, 이 정류라는 것이 다름아니라 measurement and feedback과 거의 동일한 것 같기 떄문이다.

일본 쪽 연구자 분들이 특히 잘하는 확률열역학 이론 분야에서, 정보개념까지 같이 생각하는 연구들이 속속 나오고 있는데 이들의 연구를 따라가 보면 좀더 우아하고 보편적으로 이론을 전개하는 방법을 배울 수 있지 않을까 한다. 7~8월에 일본출장이 예정돼 있는데 그 전에 여러가지 질문거리들을 꼭 준비해서 가야겠다.

Facebook에서 이 글 보기: 링크

역전파(backpropagation)의 참된 중요성 이해하기: 자동미분과의 연장선에서

이제 와서 부끄러운 얘기일 수 있으나 그동안 머신러닝에서 gradient update에 사용되는 backpropagation에 대해, 그냥 gradient를 계산하기 위한 테크닉으로써 딥러닝이 현실적인 비용으로 작동할수 있게 하는 돌파구에 불과할(?) 뿐, 뉴럴넷의 작동 이유를 이론적으로 이해하는 데에는 별로 중요하지 않다고 생각해서 별로 신경을 안 썼었다.

그런데 얼마전에 물리 및 ai 기반 그래픽스 쪽에서 공부하는 분이 읽고 계신 Hamiltonian neural network 관련 논문을 함께 디스커션 할 기회가 있었는데, 얘기하다 보니 이게 절대 그렇지가 않은 듯... 뉴럴넷에서의 backprop뿐만 아니라 오히려 그것의 원관념(?)에 해당하는, 동역학을 가진 시스템의 최적화 등에서 많이 쓰는 자동미분(automatic differentiation)을 함께 보면 이쪽 패러다임이 왜 중요한 것인지, 왜 흥미로운 것인지 잘 이해하게 되는 듯하다.

여러 가지 함수 (그 각각의 미분을 symbolic하게 알고 있는) 각각을 노드(node)로 생각하면, 그것들을 graph로 연결시켜서 합성함수를 만들 수 있다. 이렇게 만든 함수도 그림으로 표현되어 있을 뿐, 결국 인풋과 아웃풋을 갖는 그냥 수학적인 함수일 것이다.

근데 이 함수를 수치적으로 미분을 한다고 하면, 이 함수에 두 개의 서로 아주 가까운 인풋을 넣고, 그 아웃풋을 비교해서 근사적으로 미분계수(도함수의 값)을 구해야 한다 (미분계수는 평균 기울기의 극한이니까). 이것은 번거로운 일이고, 인풋의 차이는 최대한 작아야 하는데 함수가가 커다랄수록 출력 함수값의 에러는 쌓일 테니, 에러가 잘 매니지돼서 원하는대로 잘 working할지 알기 어렵다. 그리고 각 인풋에 대해 이 도함수를 evaluate할 때 매번 새롭게 해야 한다.

근데 각 노드의 도함수를 symbolic하게 알고 있다면, 그걸 체인룰(합성함수의 미분)을 통해 조합해서 사칙연산만으로 도함수를 구할 수 있다. 이렇게 아무리 새롭게 graph로 연결을 지어서 만든 새로운 함수에 대해서도, 도함수와 그 값을 비교적 쉽게 얻을 수 있는 것이 바로 체인룰을 영리하게 사용한 자동미분이라고 이해해볼수 있다.

반면에 함수의 꼴조차도 아예 모를 경우에는, (ReLU나 Sigmoid 등의 꼴을 주로 갖는) perceptron을 일종의 '비선형의 최소 단위'로 간주하여 아주 많이 조합한 multi-layer perceptron으로 모형화해야 하며, 이것으로 임의의 함수를 shaping할 수 있다는 보편근사정리가 있다. 그리고 이게 바로 가장 간단한 뉴럴넷인 것이다.

그런 면에서 뉴럴넷의 역전파를, 위에서 말한 graph로 표현된 합성함수에 대해 사용하는 자동미분과 연장선상에서 이해하게 된다. 함수의 틀이 정해져 있느냐, 아니면 그조차도 몰라서 무작정 수많은 퍼셉트론의 조합으로 두었느냐만 다를 뿐이다. 수학적으로야 backprop이 자동미분의 리버스버전의 일종일 뿐이니까 더욱 명확한것 같고.

특히 physics-informed neural network (PINN) 를 보면 뉴럴넷 자체를 어떤 해밀토니안이나 액션 같은 함수 (및 범함수)의 proxy로 생각할때가 많은데, 이럴때는 꼭 최적화를 위한 SGD에서의 gradient 계산이 아니더라도(이건 그냥 패키지를 갖다 쓰면 되니까), 해밀턴 역학 특성상 뉴럴넷이라는 커다란 함수를 여러 변수로 미분한 도함수를 생각해야 할 때가 많이 있고 이럴 때 자동미분을 잘 이해하고 직접 사용해야 하는듯하다. 해밀토니안 내지는 액션을 미분을 해야 실제 물리 방정식을 얻을 수 있어서 그렇다.

암튼 이렇게 새로운 시각을 얻게 되니 backprop의 중요성에 대해 더 깊이 이해한 것 같고, 이런 것을 딥러닝 이전부터 활용하고 발전시켜 온 공학적 최적화 분야나 그래픽스 등도 무척 재밌는 분야인 것 같다.

Facebook에서 이 글 보기: https://bit.ly/3IXFdcv

(해당 포스트의 덧글타래에 이쪽 방법론의 박사급, 교수급 선생님들이 도움을 주셨으므로 읽어주신 분들 중 더 자세한 관심이 있으시다면 이쪽을 참고해주시면 유익할 것입니다)