2023년 새해 목표들

- 말끝을 흐리지 않고 문장을 명료하게 끝맺도록 연습하기

: 목소리가 좋다는 칭찬은 종종 받는데 조음이 원활한 편이 아니어서 발음이 웅얼거리고 말끝을 흐리다 보니 그걸 깎아먹는 느낌이 있다. 그렇다고 일단 말을 시작한 다음에 문장을 명확히 정리하려고 수습(?)하다보면 문장이 꼬이게 된다. 내가 느끼기엔 테크니컬하게 개선이 가능한 문제 같은데, 남들이 보기엔 태도와 자신감의 문제로 보일 테니 분명히 개선이 필요할듯. 최근에 이걸 어느 정도 해결하는 방법을 알았는데 (1) 말할때 입을 크게 벌리고 (2) 문장의 얼개를 미리 생각해둔 다음에 말하고 (3) 옛날 서울사투리를 흉내낸다고 생각하고 말하면 된다.

- 논문 하나 억셉시키고 하나 이상 초안 완성하기

: 초안 작성해 둔 논문은 교수님께서 내용적으로는 고칠 게 크게 없고 셀링 부분 위주로 첨삭을 해 주겠다고 하셨다. 첫 논문인데 많이 늦어져서 초조하지만 잘 될 거라고 생각한다. 그리고 새로 시작하는 일은 지금까지의 연구경험을 바탕으로 좀 빨리 해서 올해 안에 완성하면 좋을 것 같다. 내년쯤 되면 논문 내는 게 아주 특별한 경험이 아니라, 보람차지만 일상적인 일로 느껴지게 되면 좋겠음.

- 타 기관 대학원생 혹은 교수님과 협업 계기 마련하기

: 우리 연구실 학생 중에 현재 혼자서만 일하고 있는 건 나뿐이다. 물론 교수님께서 국내 학술행사에서 포스터 발표 같은걸 해볼 기회는 정말 많이 주시긴 했으나, 거기서 지속적인 협업의 계기를 만들지는 못했다. 타 기관 사람들도 내가 누구인지, 내 관심사가 무엇인지 알고 계시는 상태가 되어야 조금 더 학계의 일원으로 구체적인 소속감을 얻을 수 있을것 같다. 물론 협업이 지리멸렬해지거나 내가 원하는대로 안 흘러가면 그것대로 큰 스트레스일 수는 있지만... 내가 원하는 방향대로 협업을 시작하고 지속하는 것도 내 능력일 것이다.

- 이론물리 스터디

: 지인들에게 우리 분야를 소개할 때, 내가 주로 사용해온 방법론은 '이론물리 중에서 비교적 쉽고 새로운 것'이라고 늘 이야기한다. 그렇지만 훈련받은 물리학도라면 알아야 하는 advanced된 이론들에 대해서도 늘 갈증이 있는 게 사실이다. 상반기에는 우리 교수님의 '상전이와 임계현상' 강의록이랑 Critical dynamics (Täuber)를 볼 계획이고, 하반기에는 linear response theory (그냥 David Tong 렉쳐노트로 간단히) 랑 path integral (Chaichian) 을 공부할 예정이다. 사실 구체적으로 써먹기 위한 공부가 아니다보니 늘어질려면 끝없이 늘어질 수 있어서 궁금했던 질문거리들 위주로 지혜롭게 공부해야 될 것 같고, 내가 건의해서 만든 우리과 원생 단톡방에서 이런 스터디를 모집해 봐도 괜찮을 듯하다.

- 글 쓸 계기를 마련하기

: 인문사회학뿐만 아니라 우리 물리학분야 쪽 대학원생들 중에서도, 대학원생으로서의 경험을 바탕으로 크고작은 잡지 혹은 웹진에 기고를 하거나 도서 번역 같은 것에 참여하는 경우가 더러 있던데 어떻게 기회를 얻는지 궁금하고, 그런 일에도 언젠가 참여를 해 보고 싶은 마음이 크다. 근데 기고의 기회를 얻을 만한 나만의 컨텐츠나 인지도가 현재 없는 게 사실이니까... 지금 당장 부러워하면서 억지로 기회를 만들기보다는 학위 취득의 과정에서 내 컨텐츠를 만들면서 긴 호흡으로 자연스럽게 생각하는 게 좋을 듯하다.

- 그 외

: 과학철학 스터디, ML 스터디도 느리지만 꾸준히 하기

: 여기저기 분산된 개인 자료들을 노션 중심으로 모두 통합하기

: 독서, 영화, 음악감상 및 노션에 기록

: 오래 못 본 사람들 약간 어색하더라도 연락해서 밥 먹으면서 인연 유지하기

존 홉필드(J. J. Hopfield)의 볼츠만 메달 수상 소식

이번 볼츠만 메달의 수상자 중 한 명이 존 홉필드(J. J. Hopfield) 교수님으로 결정이 되었다고 한다.

볼츠만 메달(Boltzmann medal)은 루트비히 볼츠만의 이름을 따서 STATPHYS 학회에서 수여하는 상으로, 우리 통계물리학 분야의 가장 큰 상이다. 이번 시상은 작년에 도쿄에서 열렸어야 하지만 올해로 미뤄진 STATPHYS 학회에서 이뤄질 예정이다.

홉필드는 associative memory를 구현한 Hopfield network의 제안자로, 이렇듯 창발적, 집단적 학습기계로서의 뉴럴 네트워크에 대한 초기 기여로 인공지능 분야에서 무척 유명하다. 제일 많이 인용된 PNAS 논문은 현재 25000회이며 인공지능 분야의 발전에 따라 앞으로도 많이 늘어날 것 같다.

그러나 그는 엄연히 통계물리학자 출신으로, 초기 커리어에서는 exciton 등등 고체와 전자기장의 상호작용 쪽에도 업적이 있다. 또한 확률적으로 작동함에도 불구하고 정확해야 하는 세포생물학적 과정(DNA 복제 등)에서의 동적 오류 수정 (kinetic proofreading) 을 처음으로 제안한 사람 중 한 명이기도 하다.

여담이지만 이번에 우리 연구실에서 지원한 과제가 DNA 오류 수정을 비평형 열역학 관점에서 보는 것이다 보니 바로 이 kinetic proofreading과 관련이 있을 예정이라, 이쪽으로 문헌들을 조사하고 있기도 하다.

아무튼 서로 꽤 달라보이는 이들 각각의 분야에서, 수천 회 인용된 논문들을 수십 개 이상 가지고 계시니 (h-index는 정확히는 모르지만 구글에 검색해 보면 77이라고 한다) 정말 멋진 것 같다.

홉필드와 함께 수상한 Deepak Dhar 역시 매우 유명한 분이다. 통계물리학의 타 분야 응용에 관심을 가지고 있다면 교양서적 등에서 '자기조직화 임계성 (스스로 짜인 고비성, self-organized criticality)'을 들어 보았을 것이다.

임계현상이란 계가 완전히 랜덤하지도 않고 완전히 질서있지도 않은 경계 부근에서 나타나는, 인풋 변화에 대한 응답 계수가 발산하는 등의 흥미로운 현상들을 일컫는다. 그런데 우리가 흔히 복잡계라고 부르는 여러 시스템들은 간단한 동역학적 규칙에 의해 계가 스스로를 임계점 근처로 이끌곤 하며 이를 자기조직화 임계성이라고 한다.

이는 초기조건을 매우 민감하게 마련해두지 않아도 계가 알아서 그러한 복잡성을 보이도록 진화한다는 것이라 무척 중요하다. 이러한 자기조직화 임계성이 처음으로 보고된 시스템 중 하나인 BTW sandpile에 대해 이론적인 분석을 한 것이 Dhar의 대표적 연구이다.

개인적으로 재밌다고 생각하는 건 이번 볼츠만메달의 두 수상자인 홉필드와 Dhar의 연구가 엮일 수 있는 지점이 보인다는 것이다. 뇌가 효과적인 정보처리를 하는 것이, criticality 주변에서 작동하기 때문이라는 가설인 critical brain hypothesis가 있다.

만약 이 가설이 사실이라면, 뇌는 발생 과정의 산물이며 미니멀한 룰들의 연결로 이뤄진만큼 자기조직화 임계성의 예시일 수 있을 것이다. 한편 딥러닝에도 비슷한 것이 있다. 자기조직화라고 할 수 있을지는 모르겠으나, 뉴럴넷의 weight 값들이 상전이의 경계에 있을 때 정보 전파의 깊이가 발산하므로 학습이 잘 이뤄진다는 연구가 존재한다.

Facebook에서 이 글 보기: 링크

중력현상의 시뮬레이터로서의 양자컴퓨터: AdS-CFT 대응의 이용

양자컴퓨터로 웜홀을 구현했다는 따끈따끈한 네이쳐 논문이 기사로 나왔다 (네이쳐 논문 링크, 국문기사(뉴시스) 하이퍼링크, 영문기사(quanta magazine) 하이퍼링크). 매우 네이쳐스러운 논문이라는 생각이 든다. 이런 주제들은 나도 교양수준으로만 알고 수식들은 거의 모르는데, 대략 이해한 내용을 써본다. '어려운 저차원 양자다체계 현상'과, '쉬운 고차원 중력현상'의 대응이라는 틀을 기억하면 읽기에 용이하다.

먼저 '양자전송'은 양자얽힘 현상에 의해 정보를 원격 전송하는 것으로, 양자암호(양자기반암호화, 양자내성암호)와 함께 양자통신이라는 큰 카테고리를 이루고 있다. 양자암호가 각국의 정부 및 산업계에서 상용화 관련 논의가 될정도인 것과 달리, 양자전송은 아직은 실험실 내의 기초과학 연구에 머무르고있다.

양자전송은 국소성 (대충 말해서, 물리적 현상은 공간상에서 정보가 잇따라 전달되면서 나타나며, 한번에 여기서 저기로 점프하진 않는다는 믿음) 을 위배한다. 이것이 직관적으로는 매우 이상하므로 해명이 필요한 역설이라고까지 생각되기도 했는데, 우리 학부 김석 교수님 말씀에 따르면 이상하긴 해도 국소성이 깨지는 게 그냥 사실이라고 한다. 그것이 양자세계의 비직관성이며 양자전송의 놀라운 점이다.

양자전송을 하려면 양자상태들 사이의 얽힘(entanglement)을 유지해야 하는데 이는 무척 어려운 일이다. 그런데, 양자컴퓨터는 여러 양자상태의 얽힌 상태를 유지하며 제어해서 한꺼번에 커다란 계산을 해내는 장치이므로 얽힘을 유지하는 노하우가 많이 들어가있다. 그렇기때문에 양자컴퓨터는 얽힘 실험을 하기에 최적의 시스템이다. 이번 논문에서도 9 큐비트짜리 양자컴퓨터 위에서 양자얽힘을 활용해서 실험을 했다.

이 논문도 기본적으로 양자전송을 실험적으로 구현한 여러 논문 중에 하나이다. 그런데 이 논문의 재밌는 점은 바로 홀로그래피 원리, 더 정확히는 AdS-CFT correspondence (반 드 지터 공간 - 등각 장론 대응성) 를 이용해서, 흔한(?) 양자통신을 넘어서 훨씬 멋있는 해석을 했다는 점이다.

AdS-CFT 대응성이란 홀로그래피 원리의 일종이다. 간단히 말해서 (1) 높은 차원 공간에서 정의되며 상호작용의 크기가 약한 이론 (주로 양자 중력이론의 후보인 끈 이론) 과, (2) 그 고차원공간의 '경계면'인 낮은차원공간에서 상호작용의 크기가 강한 이론 (주로 응집물질 계에 대한 양자 장론) 이 형식적으로 동일하다는 것이다! 고차원공간의 정보가 그 경계면인 저차원 공간에 오롯이 담겨있다는 점에서 홀로그램을 연상시켜서 그렇게 부른다.

이 대응을 이용하면, 우리가 사는 차원에서 강하게 상호작용하는 다체계 (쉽게말해 양자컴퓨터 내지는 고체 및 반도체 같은 응집물질들) 의 풀기 어려운 문제를, 고차원에서의 끈 이론의 풀기 쉬운 문제로 대신해서 쉽게 풀 수 있다. 더 멋있게 말하면, 물질 속의 집단현상 문제를 우주 속 중력 문제로 대신해서 풀 수 있다. 이것이 홀로그래피의 강력함이다.

그런데 이 논문에서는 위와는 정반대 방향의 접근을 한다. 둘 사이에 그런 대응이 있다면, 실험으로 만들기 힘든 웜홀 같은 양자중력현상을, 실험으로 어느정도 구현가능한 저차원의 다체계현상으로 대신해서 실험할 수 있다는 재밌는 접근이다.

먼저 우주에 있(을 수 있다고 믿어지)는 웜홀에서 양자전송이 가능한것처럼, 실험실 속의 양자 다체계에서도 양자전송이 가능하며 이는 이미 꾸준히 실험으로 확인이 되고있다. 그런데 이 두 가지는 양자정보의 전송이라는 점에서 통하지만 기본적으로는 별개의 물리현상이다. 전자는 양자중력 현상이고 후자는 중력과 상관이 없다.

이 논문에서는 양자컴퓨터의 설비로 sparsified SYK 모델이라는 양자다체계를 구현해서 실제로 양자전송을 했다. 그런데 이 모델은 흥미롭게도 AdS-CFT 대응에 의해, 웜홀에 대한 중력이론과 같은 방정식으로 기술이 된다. 이렇게 웜홀의 양자전송과 양자다체계에서의 양자전송이 (형식적으로) 연결되게된다.

따라서 양자컴퓨터를 양자중력현상에 대한 적절한 시뮬레이터로 쓸수 있다는 개념증명을 했다고 보면 될 것 같다. 실제로 웜홀에서 있어야 하는 여러가지 성질들이, 이 논문에서 연구한 시스템에서의 양자전송에서도 나타났다고 한다. 다만 이 (가상의) 웜홀은 아주아주 짧은 거리 사이의 웜홀이라고 한다.

마지막 질문은, 어떤 양자다체계랑 웜홀이 같은 이론으로 기술이 된다고 해서, 그 양자다체계 실험장치 속에 정말로 웜홀이 생긴 것인가? 이는 굳이 따지자면 따질 수 있는 과학철학적 문제인데, 보통은 상식적으로는 'No'라고 답할 것 같다. 실제로 논문에서도 웜홀을 실제로 만들었다 라고 무리하게 주장하기다는, 실험실 속에서 양자중력을 간접적으로 연구할 수 있는 방법을 제시했다고 말하고 있다.

쭉 쓰고 나서 생각해 봐도 정말로 네이쳐스러운 논문인것 같다.

Facebook에서 이 글 보기: 링크

계산기로서의 비선형동역학계를 연구하는 Herbert Jaeger 교수님

Herbert Jaeger 교수님은 대학원 입학 초기에 조사해 보았던 분이다. 그런데 이 분이 하시는 일이 내 최근 관심사와 비슷해서 요새 다시 생각이 난다. Reservoir computing 패러다임의 일종인 ESN (echo state network) 를 만든 분인데, 그것을 포함하여 수많은 비선형성이 있는 신경망기반 기계학습에서 블랙박스의 beyond에 모종의 이해가능하고 일관성있는 로직을 수립하려는 conceptor라는 일도 하셨어서, 이게 재밌어서 찾아봤었다.

요새 이분에 대해 다시 관심이 생긴 것은, Facebook 및 블로그에도 몇번 썼듯이 최근에 '의미 엔지니어링' (내가 임의로 정한 용어) 그리고 아날로그 컴퓨팅에 꽤 관심이 생겼기 때문이다. 다만 이 분의 백그라운드 및 방법론은 비선형동역학 및 약간의 통계학 기반이고, 아쉽게도 내 전공인 통계물리 이론이랑은 큰 관련은 없어보이기는 한다.

아날로그 컴퓨팅 혹은 unconventional computing 이라고 하면 뭔가 순수 학계에서 소소하게 하는 일이라는 이미지가 있다. 그런 데서는 정말 온갖 종류의 정보처리 시스템 및 비선형 시스템을 제어가능한 계산기로 엔지니어링하기 위한 기초원리와 building block을 확립하고자 한다 (아래 그림 참고. 그림 상단에 출처.).

내가 공부하고있는 능동물질(active matter)의 경우에도 정보처리 기계로 보는 관점이 점점 등장하고 있으니, 능히 그중 하나가 될수 있을 것이다. 반면에, '뉴로모픽'이라고 하면 직접적인 칩설계 및 생산 쪽과도 같이 일할것 같은 느낌으로, 좀더 인더스트리와 연계가 잘된 느낌이 난다. 이 두 용어는 교집합이 없지 않지만 기본적으로 매우 달라 보이는데, 현재 나는 그 landscape에 대해 잘 이해하고 있는 상태는 아니다.

Jaeger의 MINDS 랩에서는 아날로그컴퓨팅을 어렵게 하는 여러 가지 장벽들을 살펴보는 문제설정을 해서 논문으로 풀어나가고 있다. 이러한 학술적 관심사를 저전력 뉴로모픽 컴퓨팅에서의 실질적인 문제해결으로까지 이어가고자 하는 듯하다. 논문이 자주 나오는 편은 아니다. 비슷한 일을 하는 연구실들과 회사들도 좀더 찾아보고 알아두려고 한다.

Herbert Jaeger 구글 스콜라 페이지: 링크

Herbert Jaeber의 MINDS 랩 홈페이지: 링크

Facebook에서 이 글 보기: 링크

학술행사에서 제공하는 프로그램을 적극 활용하자

이번에 대전에서도, 포항에서도 학술행사에 참여하면서 느낀 게 있다. 여태까지는 학회 와서 한편으로는 너무 수동적인 태도를 가졌고, 한편으로는 너무 능동적으로(?) 개인플레이를 했구나 싶은 것.

지금까지는 오프라인 학술행사에 가면 주로 늘 뵙는 분들만을 계속 뵈었던데다, 연구 진전이 빠르지 않다보니 포스터발표도 어차피 큰 틀에서는 같은주제로 조금씩 발전시켜서 했었다. 그렇다보니 학회의 주인공은 교수님들이고, 포스터발표는 뭐 하면 하고 아니면 안하는것 정도의 생각을 갖고 있었던 듯하다.

그런데 요즘의 학술행사들에는 코로나시국 이후여서 그런지 처음 뵙는 외국대학 교수님들과 학생들도 많고, 규모가 커져서 우리 세부분야 말고 다른 새로운 분야도 늘 접하게 된다 (이건 코로나 이후 내 첫 오프라인 행사였던 작년 경주에서도 그러긴 했다). 대전의 경우 포스터발표의 prize도 유명 퍼블리셔인 AIP의 지원을 받아서 주어지기도 했고... 아무튼 뭔가 글로벌한 행사라는 느낌이 점점 실질적으로 체감되고 있다.

이렇게 되니까 평소에 논문에서만 봤던 교수님들이 계실 때 말씀 한마디라도 괜히 걸어보는 것이 좋은 경험이 된다. 만약 그럴때에 내가 포스터발표를 했다면, 일일이 자기소개 하지 않아도 아 자네가 포스터 뭐뭐 발표했던 학생이구나~ 하고 대화의 물꼬를 좀더 쉽게 만들어 나갈 수 있다는 느낌이 들었다. 회기랑 대전에서 포스터발표 안 한 뒤에 이런 걸 느끼고서 포스터발표를 급하게 준비해서, 포항에서는 잘 진행을 했다.

포스터발표 외에도... 지금까지는 학술행사에서 제공하는 여러가지 프로그램 (식사, Excursion (스케쥴 중간쯤에 있는 반나절 정도의 나들이), 주최기관 탐방 등) 을 그리 열심히 이용하지 않고, 여건이 되면 바깥으로 나가서 혼자서 개인플레이 하거나, 혹은 랩사람들이랑 다니는 경향이 있었던것 같다.

그런데 생각해보면 교수님께서 참여 기회를 주신것이고 주최기관 직원선생님들도 많은 재정적, 행정적 서포트를 해주신 건데, 가급적 학술행사에서 제공하는 프로그램을 적극적으로 이용하는게 맞겠다는 생각이 들었다. 그런걸 모두 감안해서 계획과 예산이 짜인 것일 테니까 말이다.

계속 개인플레이를 하게되는 이유는 일단은 사실 학회장의 식사가 성에 안차는 경우가 많고 (...) 이왕 관악 바깥으로 나온거 뭔가 해당지역에 가볼만한 데를 가보고 싶다는 생각이 있어서 그런 것 같다. 더 중요한 이유는 내가 익숙한 사람들끼리, 혹은 처음 보는 사람이라도 일대일로 대화하는 건 즐거워하지만, 다대 다로 모이는 자리는 좋아하지 않는 편이어서 그렇다.

암튼 앞으로는 포스터발표는 거의 필수라고 생각하고, 밥도 되도록 갠플하지 말고 학회에서 안내하는 프로그램대로 사람들이랑 얘기하면서 먹는게 좋겠다 싶었음.

Facebook에서 이 글 보기: 링크

[강연정보] 학제적 분야에서 경험적 정당화의 형식 (사회학과 손윤규 교수)

사회학과 손윤규 교수님께서 "학제적 분야에서 경험적 정당화의 형식"이라는 주제로 강연을 하신다. 자연과학과 사회과학의 방법론을 비교하고 교류를 모색한다는 점에서 재미있는 세미나일 것 같고, 메타적인 합리성을 추구하는 작업으로 의미가 있어보인다. 정작 나는 이번에도 저 날에 출장 중일 예정이라 못 간다. 연구소 측에 연락해서 발제문이나 발표자료를 주실 수 있을지라도 한번 여쭤봐야겠다.

마침 다루는 사례도 우리 통계물리분야와 뗄래야 뗄 수 없는 네트워크과학 쪽이라고 하니 더 관심이 간다. 실제로 우리분야에서 네트워크 이론 연구하시는 분들이 사회과학적 주제에 대해 결론을 도출할 때 그것을 어떻게 수용해야 하며, 사회과학에서의 네트워크 분석과는 어떻게 다를지, 그 각각이 얼마나 엄밀한 것일지 등이 늘 궁금하기도 했다.

연사이신 손윤규 교수님은 사회학과에서 네트워크분석을 하는 분인데, 찾아보니 실제로 복잡계 네트워크이론 학자 분들과 공동연구를 하셨기도 하다 (추가: 나중에 알게 된 바로는 아예 물리학 백그라운드를 가지신 분이다). 학제적 연구를 실제로 직접 하시면서 느낀 점을 바탕으로, 이렇게 메타적(?)인 주제를 다루면서도 고유의 내용이 있는 세미나가 기획된것이 아닐까 한다.

Facebook에서 이 글 보기: 링크

____________________

2022년 제6회 월례세미나(Frontiers in Social Science)

“학제적 분야에서 경험적 정당화의 형식”

학제적 패러다임의 등장과 함께, 서로의 영역을 거의 침범하지 않았던 채로 형성된 자연과학 전통 하의 경험적 정당화 방식과 사회과학 경험 연구에서 표준적인 정당화 절차로 여겨졌던 방법론은 공존, 혼재, 혹은 충돌하게 되었다. 이 발표에서는 사회과학과 자연과학에서의 경험 자료에 대한 인과적 설명 및 이론 검정 방식이 확률적 메커니즘에 대한 가설 연역적 논증을 구성하는 데에 있어서 근본적인 차이를 보임을 밝히고, 네트워크 과학에서의 사례를 제시한다. 이를 바탕으로, 학제적 분야에서 이질적인 분과학의 전통을 따르는 연구들이 고립된 지식 생산을 넘어서 상호 교류할 가능성에 대해서 논의한다.

- 발표: 사회학과 손윤규 교수

- 사회: 정치외교학부 안도경 교수

- 일시: 2022년 11월 23일(수) 13:00-14:30

- 참여방법: 2022년 2학기 월례세미나는 오프라인에서 진행됩니다.

- 구글폼을 통해 오프라인 참석 신청 부탁드립니다.

- 12시 45분부터 샌드위치가 제공될 예정입니다.

- 장소: 16동 M111호 사회과학연구원 세미나실

[강연정보] Stochastic gradient descent as anomalous diffusion (비정상 확산으로서의 확률적 경사하강법)

U Simsekli 교수님의 초청강연 정보를 뒤늦게 알게 되었다. Simsekli는 딥러닝에 쓰이는 확률적 경사 하강법(stochastic gradient descent, SGD)를 heavy-tail을 갖는 확률과정으로 취급하고 (혹은 그럴 수 있다는 것을 정당화하고), 이것을 바탕으로 SGD의 일반화 성능을 설명하는 연구를 하는 분이다. 통계물리학 분야에서는 그러한 확률과정을, 가장 잘 연구된 브라운 운동(Brownian motion)과는 다르다는 의미에서 anomalous diffusion (비정상 확산) 이라고 부른다.

이분 논문을 직접 쭉 읽어본적은 없지만 ML theory 쪽으로 검색을 하다보면 이름이 종종 보이고, 이런저런 세미나에서도 이분 논문 소개를 여러차례 들었었다.

SGD가 어떤종류의 확률과정이며 어떻게 좋은 minima를 찾아가는지에 대한 기초연구는 기본적으로 응용수학의 영역이지만, 비평형 통계물리 백그라운드를 가진 연구자들도 실제적인 확률적 동역학계에 대해 축적된 지식이 많다 보니 escape problem 등의 관점에서 조금씩 기여를 한다.

이러한 주제는 교수님께서 종종 추천해 주시고, 나로서도 비록 교양 수준이지만 관심이 많이 가는지라 세미나에서 몇번 발표해 봤던 주제이기도 하다. 강연 정보를 진작 알았다면 쭉 들었을텐데 아쉽고 마지막 회차라도 꼭 들어봐야겠다. 

지도교수님의 웹진 기고문 소개

[크로스로드] 능동물질: 스스로 움직이는 입자들의 통계물리학 (링크)

몇 달 전이지만 제 지도교수님께서 능동물질(active matter)에 대해 아태이론물리센터 <크로스로드>에 기고하신 아티클입니다. 물리학회 웹진 <물리학과 첨단기술>에도 게재되어 있습니다.

평형으로부터 떨어진 채로 여러 재미난 집단 현상을 보이는 능동물질에 대한 설명이 잘 되어 있으니 관심 있으신 분들은 읽어 보시길 권합니다. 제 연구주제 또한 이러한 능동물질이 소모하는 에너지적 비용을 계산하는 일과 관련이 있습니다.

저도 언젠가 교수님처럼 훌륭한 연구자로 성장해서 기고의 기회를 얻는것을 상상해봅니다.

Facebook에서 이 글 보기: 링크

ICTP-KIAS School on Statistical Physics for Life Sciences 참여 후기

이번 ICTP-KIAS 스쿨(행사 홈페이지: 링크)에서 개인적으로 가장 기대한 연사는 일본의 도쿄대학에서 정보이론과 열·통계역학을 통합적으로 다루는 연구를 하시는 Takahiro Sagawa 교수님이었다. 확률열역학 이론 쪽에서 논문 서칭을 하다보면 이분이 저술한 논문을 상당히 자주 마주치게되고 또한 읽어보게된다. 그러다보니 젊은 나이에 이미 우리 분야에서 큰 상을 받으셨다고 하며, 아직도 사실 굉장히 젊어보이신다. 한국에서 유명한 김상욱 교수님과도 예전에 양자 정보열역학 쪽으로 공동연구를 한 바 있다. 발표도 매우 재밌었고, 후술하겠지만 질문도 여러차례 할 기회가 있어서 인상깊은 시간이었다.

사가와 교수님은 아마 강의 당일인 목요일부터만 참석하신 것 같고, 사실은 화요일 저녁 banquet 때 우연히 그분의 제자들, 그러니까 도쿄대 대학원생들과 함께 앉게 돼서 이야기를 나눴는데 꽤나 재밌었다. 한국에 짧지 않게 오는 건데 여행계획이 있냐는 질문에, 사격장에 가보고 싶다고 꼽은 게 특이했다. 일본에서는 사격장이 없는건 아니지만, 그런 데 가더라도 라이센스가 있는 경우에만 쏴볼 수 있다고 한다. 그래서 한국에 갔을때 해 볼 만한 체험으로 실탄사격이 나름 유명한 모양이다. 한국인들에게도 잘 알려진 남대문사격장을 알려줬는데 역시나 이미 알고있는 눈치였다.

그리고 이번에 오진 않았지만 연구실 학생 중에 한 명은 Yobinori 라는 과학 유튜버를 하고있다고 한다 (Youtube 채널: 링크). 구독자가 90만명 정도니까 아마 일본에서 꽤 이름있는 과학 채널일 듯한데, 일본어로만 제작하다보니 우리는 잘 몰랐었다. 한편 이들도 김상욱 교수님 이름을 안다고 해서, 한국에서 연예인들에게 과학을 설명해주는 등 텔레비젼 스타가 되셨다고 말해주었더니 매우 흥미로워했다.

또한 일본에서 일하는 지인들이 일본 음식 사진을 많이 보내주어서 나도 가고싶고 (초등학교때 한번 부모님 손잡고 갔었고... 이번 8월에 오랜만에 갈 줄 알았는데 코로나로 진작에 취소돼서 못갔다), 한국사람들이 일본 여행을 좋아한다 등등 얘기도 했다. 그렇게 말하니 만약 면요리를 좋아하면 와서 라멘을 꼭 먹어라, 근데 호불호가 있는 두가지 서로 다른 스타일이 있으니 잘 알아보고 가야한다는 답이 돌아왔다.

사가와교수님 발표 얘기를 더 해보자면... 정보 이론과 열역학은 엔트로피라는 양을 중심으로 큰 교집합이 있지만, 또한 각자 다른 픽쳐와 관심사를 가지고있다. 또한 그것들 각각이 기계학습에 대한 이론적 이해에 나름의 방식으로 기여한다. 이번 스쿨의 취지 자체가 (특히 생체시스템에서) 그 모든 것들을 통합적으로 조망 및 이해하는 것인만큼, 정보열역학 분야의 전문가인 사가와 교수의 초청은 스쿨의 목적에 이보다 더 부합할 연사가 있을까 싶을 정도로 매우 적합했다고 보이며 내 흥미에도 맞았다. 여담이지만 사가와 교수님 본인도 이번 발표일정이 코로나 이후 첫 해외여행이라 감회가 남다르다는 식으로 말씀하셨다.

사실 나는 맥스웰의 악마와 정보 엔진 등에 대해 아직까지는 약간 개념적인 사고실험으로만, 혹은 다소 인위적이고 기초적인 실험셋으로만 존재하는 것인줄로 생각해서 개인적으로 큰 흥미를 느끼진 못했었다. 그런데 이번 발표에서는 나로서는 다소 고리타분하게 느껴지는 그런 거시적이고 도식적인 예시에서 출발은 했지만, 궁극적으로는 내게 익숙한 요동치는 small system에 대한 비평형 통계물리학이랑 잘 통합된 픽쳐로 소개해 주시니까 대단히 재밌었다.

그런 픽쳐에서 정보이론적 양들이 에너지적인 양들과 동등하게 다뤄지고, 일반화된 열역학 제2법칙 형태로 깔끔하게 써지는것도 마음에 들었다. 사실 아무리 맥스웰의 악마라도 2법칙을 만족하게끔 통합적으로 써지는건 당연히 그래야 하며 또 그렇게 될 수밖에 없는데, 미시적 비평형계에 대해 내가 파편적으로 찾아봤던 연구들에서는 그런걸 우아하지 못하고 덕지덕지(?) 형식화한 느낌이 있었다. 그런데 그걸 사가와교수님이 최대한 깔끔하게 정리해서 강의 해주신것 같다.

또한 맥스웰의 악마 같은 게 오직 이론물리에서만 관심을 갖는 특이한 상황같은 거라고 잘못 생각할수도 있으나, 사실은 확률열역학의 도구를 빌려 동역학적(dynamical)으로 형식화한다면 생체시스템의 정보이론적, 열역학적 view에도 무척 자연스럽고 풍부하게 적용될수 있다는 내 직관이 확인되는 것 같아서 마음에 들었다. 동역학적 개념으로서의 정보를 다루는 방법으로는 대표적으로 information flow와 transfer entropy가 있는데, 나는 이 두 픽쳐가 commensurable하지 않다고 생각했고, 그 둘중 어느쪽으로 합의가 안되고 공존하는 상황이 예쁘지 않고 불만족스럽다고만 생각했다. 그런데 사실 이 둘은 부등식으로 명확히 관계지어질 수 있다는걸 이번에 알게 되기도 했다.

사가와교수님이 연구를 소개하면서 마지막으로 들어주신 예시는 정보처리 기계로서의 칼만필터(Kalman filter)를 정보열역학적으로 보고 효율을 계산한 연구였다. 정보열역학적 효율개념이, 통계학에서 말하는 충분성의 개념 (sufficient statistics)과 나름대로 자연스럽게 연결이 된다. 내가 학부때 한동안 공부했던 칼만필터 등의 제어이론(control theory)과, 대학원에서 전공하고있는 비평형 통계물리학은 똑같이 확률미분방정식(SDE, 혹은 물리학자들의 용어로는 Langevin 방정식)을 사용한다. 그래서 이쪽으로 비교적 수월하게 넘어올수 있었지만 여전히 그 둘은 분명히 다르다고 생각한다. 그런데 이런 식으로 또 학술적으로 의미있게 관련이 지어지기는 하는구나 싶었다 (그래도 통계물리는 결국 물리고, 제어이론, 통계학, 기하학 등 다른 포말리즘과의 관련성 그 자체에 지나치게 매료되는건 조심해야되긴 한다. 당장 나부터도 그런 포말리즘적 연결을 과도하게 좋아하는 편인데 비해, 학술적으로 새로운 결과를 준다거나 하는건 별로 없는듯해서 일부러 경계하는 중이다).

워낙 기대하던 연사분이다 보니, 그다지 날카로운 질문은 아니지만 뭐라도 질문하고 싶어서 강의 도중, 그리고 강의 직후에 세네 개 정도의 기초적인 질문을 하기도 했다. 첫번째 질문은 핀트가 잘 전달이 안되었는지 만족스러운 답변을 듣지는 못했고, 나머지 답변에서는 매우 명쾌한 답을 들을 수 있었다. 그 내용은 다음과 같다.

(1) 어떤 물리적 시스템이 주어져있을 때 그것을 N개 state로 나눠서 보면 엔트로피의 상한이 log N이지만, 2N개 state로 나눠서 보면 엔트로피의 상한이 log 2N이다. 이는 물리계에 대해 생각만 다르게 했을뿐인데(think different) 물리량 자체가 달라진다는(physics does change) 인상을 준다. 이를 어떻게 이해할수 있는가?

(2) Autonomous한 정보처리 시스템을 소개할때 셋업으로 (i) continuous time을 생각하겠다 (ii) 계 외부로부터의 feedback control이 없는 계를 생각하겠다 이렇게 두가지를 제시했는데, 필연적으로 연결이 되는것인가 아니면 서로 독립적인 조건인가?

-> 문제 정의상으로는 서로 독립적인데, 실질적으로는 closely related되어 있다. 생체 기계들이나 인공 나노기계 등에 적용하기 위해 이러한 셋업을 한것이다.

(3) 세포 같은 걸 생각하면 아무리 autonomous하더라도, 피드백을 주는 demon이 계 안에 있는것일 뿐이지, 에너지 투입은 있어야 되는 것 같다. 내 생각처럼 에너지 주입이 정보처리를 drive하는 것이 맞나?

-> 그렇다. 에너지 주입이 정보처리로 연결되는 과정을 직접 모델링할수도 있다.

(4) 정보에 대한 dynamic한 formulation은 매우 재미있어 보이기는 한데, 커다란 summation을 포함하므로 scalable하지 않은것 같다. 정보이론적 양들을 효율적으로 계산할수 있는 방법 같은게 있는가?

-> 나는 수치적인 쪽의 expert는 아니지만, 그런 수치적인 방법들이 존재한다는것은 말할 수 있다. 하지만 기본적으로 헤비한 계산들인건 맞다.

이런식으로 질의응답을 했고... 특히 사가와 그룹은 최근에는 원론적인(?) 정보열역학뿐만 아니라 생체 기계들에의 보다 적극적인 응용도 하고있는 듯하니, 능동물질 쪽 연구자로서 앞으로 정보열역학 쪽과 엮일 일이 늘어나지 않을까 기대해본다. 특히 나 같은 경우 물리계에서 임의로 정의한 효율척도가 아니라 실제로 소모한 에너지와 관련된 thermodynamic cost를 수립하는 작업에 관심이 있다보니, 능동물질뿐 아니라 전통적인 정보처리시스템(계산기)에 대해서까지 이런 흥미를 확장한다면 정보열역학과 접점을 찾는것도 금방일듯하다.

사가와뿐만 아니라 스쿨 전체에 대해 총평해보자면... 스쿨이라는 이름에 부합하게 education에 초점이 맞춰진 무척 재밌는 학술행사였다. 5일 동안 총 네 분의 교수님이 템포를 조절해가며 기본부터 차근차근 가르쳐주셨고, 최신 연구도 조금씩 소개해주셨다.

내 본진(?)이라고 할수 있는 확률열역학을 다뤄주신 이재성 교수님 강의는, 익숙한 토픽들을 좀더 디테일하게 복습하는 느낌으로 들었다. 최근의 연구들을 보면 굉장히 근본적이어(?) 보이는 열역학적 부등식들도, 사실은 수리통계학에서 나오는 고등학교 수학스러운 부등식들을 tricky하게 열심히 적용해서 얻어지는 경우가 많은듯하다. 그런 tricky한 것들을 꿰뚫는 좀더 간명한 수학적 원리가 존재하지 않을까 생각을 해본다. (아마 이건 분명히 존재하지만 내가 못보고 있는듯하다)

이론물리학의 초일류 테크를 타다가 생물쪽으로 틀어서 미 국립보건원에 계시는 Vipul Periwal 교수님도 이번에 강의를 하셨다. 통계물리를 데이터사이언스에 적용할수 있게끔 analogy를 쭉 설명해주시고, large deviation theory를 차근차근 설명해주셨다. 이 역시 우리 연구실 스터디에서 다뤘던 부분이라 복습 느낌으로 잘 따라갈수 있었다. 한가지 새로웠던 것은 inverse Sanov theorem이었다. 이게 무엇인가 하면... 비평형 통계물리에서는 기본적으로 ground truth 분포 P을 알고있는 채로 empirical distribution F의 희소성을 생각하는데, 데이터사이언스는 정반대로 F를 알고있는 채로 P를 추정하는 것이다. 그래서 어떻게 하냐면 베이즈정리를 이용해서 조건부확률을 뒤집어준채로 large deviation을 한다. 간단히 키워드만 소개해주셨음에도 무척 재밌는 아이디어 같았고 오리지널 논문을 금방 찾을 수 있었다. 수학 논문치고는 그래도 물리학도가 이해할수 있는 수준으로 써놔서, 찬찬히 읽어보려고 한다.

한편 보스턴대학의 Mehta 교수님은 딥러닝이 왜 성공적으로 작동하는지에 대한 이론적 질문을 쉽고 재밌게 풀어주셨다. 나는 이번엔 모든 세션에 개근하나 했더니만 마지막 날에 호텔 말고 관악집에서 가느라 Mehta의 아침세션을 놓치고 말았는데... 이전까지는 딥러닝의 기초적인 내용(generalization, regularization 등)만을 쉽게 설명해주셨으나 하필 그 세션에서는 double descent 등을 포함한 모던한 이론적 understanding까지 인텐스하게 다뤄주셨다고 해서 후회가 되었다. 나중에 참고문헌 같은 거라도 올려주셔서 볼수 있었으면 좋겠다.

이번엔 우리 연구실 사람들은 나 포함 두명밖에 안 와서, 주로 우리랑 가까운 사이인 물리교육과 조정효 교수님 연구실 사람들한테 끼어서 같이 다녔다. 저녁시간에도 라구파스타, 텐동, 인도커리 등을 먹으러 같이 잘 다녔는데, 그러면서 이야기 해 보니까 머신러닝에 대해 이론적 깊이뿐 아니라 실용적(?) 감각도 많이 가지고 스터디도 다양하게 진행하는 열정적인 연구실인 것 같았고, 특히 내가 교양수준으로 좋아하는 디퓨전모델에 대해 최신의 흐름까지 자세히 알고 계신 것 같아서 앞으로도 더 많이 교류하면서 배우면 좋지 않을까 생각이 들었다.

이제는 school 파트는 끝났고, 다음주 월~화 동안 연구내용 발표를 하는 워크숍 파트가 남았다. 나는 이번에 포스터 발표를 하기는 어려운 상황이지만, 교수님들의 강연뿐 아니라 참석한 대학원생들의 포스터까지 한번 잘 들어보면 좋을 것 같다.

Facebook에서 이 글 보기: 링크

A Road to 'Science of Semantics' (의미의 과학 및 의미 엔지니어링의 가능성)

이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.

부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.

말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.

이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.

좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.

사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.

사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.

그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.

다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.

물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.

hapseda 블로그에서 이 글 보기: 링크

Facebook에서 이 글 보기: 링크