계산기로서의 비선형동역학계를 연구하는 Herbert Jaeger 교수님

Herbert Jaeger 교수님은 대학원 입학 초기에 조사해 보았던 분이다. 그런데 이 분이 하시는 일이 내 최근 관심사와 비슷해서 요새 다시 생각이 난다. Reservoir computing 패러다임의 일종인 ESN (echo state network) 를 만든 분인데, 그것을 포함하여 수많은 비선형성이 있는 신경망기반 기계학습에서 블랙박스의 beyond에 모종의 이해가능하고 일관성있는 로직을 수립하려는 conceptor라는 일도 하셨어서, 이게 재밌어서 찾아봤었다.

요새 이분에 대해 다시 관심이 생긴 것은, Facebook 및 블로그에도 몇번 썼듯이 최근에 '의미 엔지니어링' (내가 임의로 정한 용어) 그리고 아날로그 컴퓨팅에 꽤 관심이 생겼기 때문이다. 다만 이 분의 백그라운드 및 방법론은 비선형동역학 및 약간의 통계학 기반이고, 아쉽게도 내 전공인 통계물리 이론이랑은 큰 관련은 없어보이기는 한다.

아날로그 컴퓨팅 혹은 unconventional computing 이라고 하면 뭔가 순수 학계에서 소소하게 하는 일이라는 이미지가 있다. 그런 데서는 정말 온갖 종류의 정보처리 시스템 및 비선형 시스템을 제어가능한 계산기로 엔지니어링하기 위한 기초원리와 building block을 확립하고자 한다 (아래 그림 참고. 그림 상단에 출처.).

내가 공부하고있는 능동물질(active matter)의 경우에도 정보처리 기계로 보는 관점이 점점 등장하고 있으니, 능히 그중 하나가 될수 있을 것이다. 반면에, '뉴로모픽'이라고 하면 직접적인 칩설계 및 생산 쪽과도 같이 일할것 같은 느낌으로, 좀더 인더스트리와 연계가 잘된 느낌이 난다. 이 두 용어는 교집합이 없지 않지만 기본적으로 매우 달라 보이는데, 현재 나는 그 landscape에 대해 잘 이해하고 있는 상태는 아니다.

Jaeger의 MINDS 랩에서는 아날로그컴퓨팅을 어렵게 하는 여러 가지 장벽들을 살펴보는 문제설정을 해서 논문으로 풀어나가고 있다. 이러한 학술적 관심사를 저전력 뉴로모픽 컴퓨팅에서의 실질적인 문제해결으로까지 이어가고자 하는 듯하다. 논문이 자주 나오는 편은 아니다. 비슷한 일을 하는 연구실들과 회사들도 좀더 찾아보고 알아두려고 한다.

Herbert Jaeger 구글 스콜라 페이지: 링크

Herbert Jaeber의 MINDS 랩 홈페이지: 링크

Facebook에서 이 글 보기: 링크

학술행사에서 제공하는 프로그램을 적극 활용하자

이번에 대전에서도, 포항에서도 학술행사에 참여하면서 느낀 게 있다. 여태까지는 학회 와서 한편으로는 너무 수동적인 태도를 가졌고, 한편으로는 너무 능동적으로(?) 개인플레이를 했구나 싶은 것.

지금까지는 오프라인 학술행사에 가면 주로 늘 뵙는 분들만을 계속 뵈었던데다, 연구 진전이 빠르지 않다보니 포스터발표도 어차피 큰 틀에서는 같은주제로 조금씩 발전시켜서 했었다. 그렇다보니 학회의 주인공은 교수님들이고, 포스터발표는 뭐 하면 하고 아니면 안하는것 정도의 생각을 갖고 있었던 듯하다.

그런데 요즘의 학술행사들에는 코로나시국 이후여서 그런지 처음 뵙는 외국대학 교수님들과 학생들도 많고, 규모가 커져서 우리 세부분야 말고 다른 새로운 분야도 늘 접하게 된다 (이건 코로나 이후 내 첫 오프라인 행사였던 작년 경주에서도 그러긴 했다). 대전의 경우 포스터발표의 prize도 유명 퍼블리셔인 AIP의 지원을 받아서 주어지기도 했고... 아무튼 뭔가 글로벌한 행사라는 느낌이 점점 실질적으로 체감되고 있다.

이렇게 되니까 평소에 논문에서만 봤던 교수님들이 계실 때 말씀 한마디라도 괜히 걸어보는 것이 좋은 경험이 된다. 만약 그럴때에 내가 포스터발표를 했다면, 일일이 자기소개 하지 않아도 아 자네가 포스터 뭐뭐 발표했던 학생이구나~ 하고 대화의 물꼬를 좀더 쉽게 만들어 나갈 수 있다는 느낌이 들었다. 회기랑 대전에서 포스터발표 안 한 뒤에 이런 걸 느끼고서 포스터발표를 급하게 준비해서, 포항에서는 잘 진행을 했다.

포스터발표 외에도... 지금까지는 학술행사에서 제공하는 여러가지 프로그램 (식사, Excursion (스케쥴 중간쯤에 있는 반나절 정도의 나들이), 주최기관 탐방 등) 을 그리 열심히 이용하지 않고, 여건이 되면 바깥으로 나가서 혼자서 개인플레이 하거나, 혹은 랩사람들이랑 다니는 경향이 있었던것 같다.

그런데 생각해보면 교수님께서 참여 기회를 주신것이고 주최기관 직원선생님들도 많은 재정적, 행정적 서포트를 해주신 건데, 가급적 학술행사에서 제공하는 프로그램을 적극적으로 이용하는게 맞겠다는 생각이 들었다. 그런걸 모두 감안해서 계획과 예산이 짜인 것일 테니까 말이다.

계속 개인플레이를 하게되는 이유는 일단은 사실 학회장의 식사가 성에 안차는 경우가 많고 (...) 이왕 관악 바깥으로 나온거 뭔가 해당지역에 가볼만한 데를 가보고 싶다는 생각이 있어서 그런 것 같다. 더 중요한 이유는 내가 익숙한 사람들끼리, 혹은 처음 보는 사람이라도 일대일로 대화하는 건 즐거워하지만, 다대 다로 모이는 자리는 좋아하지 않는 편이어서 그렇다.

암튼 앞으로는 포스터발표는 거의 필수라고 생각하고, 밥도 되도록 갠플하지 말고 학회에서 안내하는 프로그램대로 사람들이랑 얘기하면서 먹는게 좋겠다 싶었음.

Facebook에서 이 글 보기: 링크

[강연정보] 학제적 분야에서 경험적 정당화의 형식 (사회학과 손윤규 교수)

사회학과 손윤규 교수님께서 "학제적 분야에서 경험적 정당화의 형식"이라는 주제로 강연을 하신다. 자연과학과 사회과학의 방법론을 비교하고 교류를 모색한다는 점에서 재미있는 세미나일 것 같고, 메타적인 합리성을 추구하는 작업으로 의미가 있어보인다. 정작 나는 이번에도 저 날에 출장 중일 예정이라 못 간다. 연구소 측에 연락해서 발제문이나 발표자료를 주실 수 있을지라도 한번 여쭤봐야겠다.

마침 다루는 사례도 우리 통계물리분야와 뗄래야 뗄 수 없는 네트워크과학 쪽이라고 하니 더 관심이 간다. 실제로 우리분야에서 네트워크 이론 연구하시는 분들이 사회과학적 주제에 대해 결론을 도출할 때 그것을 어떻게 수용해야 하며, 사회과학에서의 네트워크 분석과는 어떻게 다를지, 그 각각이 얼마나 엄밀한 것일지 등이 늘 궁금하기도 했다.

연사이신 손윤규 교수님은 사회학과에서 네트워크분석을 하는 분인데, 찾아보니 실제로 복잡계 네트워크이론 학자 분들과 공동연구를 하셨기도 하다 (추가: 나중에 알게 된 바로는 아예 물리학 백그라운드를 가지신 분이다). 학제적 연구를 실제로 직접 하시면서 느낀 점을 바탕으로, 이렇게 메타적(?)인 주제를 다루면서도 고유의 내용이 있는 세미나가 기획된것이 아닐까 한다.

Facebook에서 이 글 보기: 링크

____________________

2022년 제6회 월례세미나(Frontiers in Social Science)

“학제적 분야에서 경험적 정당화의 형식”

학제적 패러다임의 등장과 함께, 서로의 영역을 거의 침범하지 않았던 채로 형성된 자연과학 전통 하의 경험적 정당화 방식과 사회과학 경험 연구에서 표준적인 정당화 절차로 여겨졌던 방법론은 공존, 혼재, 혹은 충돌하게 되었다. 이 발표에서는 사회과학과 자연과학에서의 경험 자료에 대한 인과적 설명 및 이론 검정 방식이 확률적 메커니즘에 대한 가설 연역적 논증을 구성하는 데에 있어서 근본적인 차이를 보임을 밝히고, 네트워크 과학에서의 사례를 제시한다. 이를 바탕으로, 학제적 분야에서 이질적인 분과학의 전통을 따르는 연구들이 고립된 지식 생산을 넘어서 상호 교류할 가능성에 대해서 논의한다.

- 발표: 사회학과 손윤규 교수

- 사회: 정치외교학부 안도경 교수

- 일시: 2022년 11월 23일(수) 13:00-14:30

- 참여방법: 2022년 2학기 월례세미나는 오프라인에서 진행됩니다.

- 구글폼을 통해 오프라인 참석 신청 부탁드립니다.

- 12시 45분부터 샌드위치가 제공될 예정입니다.

- 장소: 16동 M111호 사회과학연구원 세미나실

[강연정보] Stochastic gradient descent as anomalous diffusion (비정상 확산으로서의 확률적 경사하강법)

U Simsekli 교수님의 초청강연 정보를 뒤늦게 알게 되었다. Simsekli는 딥러닝에 쓰이는 확률적 경사 하강법(stochastic gradient descent, SGD)를 heavy-tail을 갖는 확률과정으로 취급하고 (혹은 그럴 수 있다는 것을 정당화하고), 이것을 바탕으로 SGD의 일반화 성능을 설명하는 연구를 하는 분이다. 통계물리학 분야에서는 그러한 확률과정을, 가장 잘 연구된 브라운 운동(Brownian motion)과는 다르다는 의미에서 anomalous diffusion (비정상 확산) 이라고 부른다.

이분 논문을 직접 쭉 읽어본적은 없지만 ML theory 쪽으로 검색을 하다보면 이름이 종종 보이고, 이런저런 세미나에서도 이분 논문 소개를 여러차례 들었었다.

SGD가 어떤종류의 확률과정이며 어떻게 좋은 minima를 찾아가는지에 대한 기초연구는 기본적으로 응용수학의 영역이지만, 비평형 통계물리 백그라운드를 가진 연구자들도 실제적인 확률적 동역학계에 대해 축적된 지식이 많다 보니 escape problem 등의 관점에서 조금씩 기여를 한다.

이러한 주제는 교수님께서 종종 추천해 주시고, 나로서도 비록 교양 수준이지만 관심이 많이 가는지라 세미나에서 몇번 발표해 봤던 주제이기도 하다. 강연 정보를 진작 알았다면 쭉 들었을텐데 아쉽고 마지막 회차라도 꼭 들어봐야겠다. 

지도교수님의 웹진 기고문 소개

[크로스로드] 능동물질: 스스로 움직이는 입자들의 통계물리학 (링크)

몇 달 전이지만 제 지도교수님께서 능동물질(active matter)에 대해 아태이론물리센터 <크로스로드>에 기고하신 아티클입니다. 물리학회 웹진 <물리학과 첨단기술>에도 게재되어 있습니다.

평형으로부터 떨어진 채로 여러 재미난 집단 현상을 보이는 능동물질에 대한 설명이 잘 되어 있으니 관심 있으신 분들은 읽어 보시길 권합니다. 제 연구주제 또한 이러한 능동물질이 소모하는 에너지적 비용을 계산하는 일과 관련이 있습니다.

저도 언젠가 교수님처럼 훌륭한 연구자로 성장해서 기고의 기회를 얻는것을 상상해봅니다.

Facebook에서 이 글 보기: 링크

ICTP-KIAS School on Statistical Physics for Life Sciences 참여 후기

이번 ICTP-KIAS 스쿨(행사 홈페이지: 링크)에서 개인적으로 가장 기대한 연사는 일본의 도쿄대학에서 정보이론과 열·통계역학을 통합적으로 다루는 연구를 하시는 Takahiro Sagawa 교수님이었다. 확률열역학 이론 쪽에서 논문 서칭을 하다보면 이분이 저술한 논문을 상당히 자주 마주치게되고 또한 읽어보게된다. 그러다보니 젊은 나이에 이미 우리 분야에서 큰 상을 받으셨다고 하며, 아직도 사실 굉장히 젊어보이신다. 한국에서 유명한 김상욱 교수님과도 예전에 양자 정보열역학 쪽으로 공동연구를 한 바 있다. 발표도 매우 재밌었고, 후술하겠지만 질문도 여러차례 할 기회가 있어서 인상깊은 시간이었다.

사가와 교수님은 아마 강의 당일인 목요일부터만 참석하신 것 같고, 사실은 화요일 저녁 banquet 때 우연히 그분의 제자들, 그러니까 도쿄대 대학원생들과 함께 앉게 돼서 이야기를 나눴는데 꽤나 재밌었다. 한국에 짧지 않게 오는 건데 여행계획이 있냐는 질문에, 사격장에 가보고 싶다고 꼽은 게 특이했다. 일본에서는 사격장이 없는건 아니지만, 그런 데 가더라도 라이센스가 있는 경우에만 쏴볼 수 있다고 한다. 그래서 한국에 갔을때 해 볼 만한 체험으로 실탄사격이 나름 유명한 모양이다. 한국인들에게도 잘 알려진 남대문사격장을 알려줬는데 역시나 이미 알고있는 눈치였다.

그리고 이번에 오진 않았지만 연구실 학생 중에 한 명은 Yobinori 라는 과학 유튜버를 하고있다고 한다 (Youtube 채널: 링크). 구독자가 90만명 정도니까 아마 일본에서 꽤 이름있는 과학 채널일 듯한데, 일본어로만 제작하다보니 우리는 잘 몰랐었다. 한편 이들도 김상욱 교수님 이름을 안다고 해서, 한국에서 연예인들에게 과학을 설명해주는 등 텔레비젼 스타가 되셨다고 말해주었더니 매우 흥미로워했다.

또한 일본에서 일하는 지인들이 일본 음식 사진을 많이 보내주어서 나도 가고싶고 (초등학교때 한번 부모님 손잡고 갔었고... 이번 8월에 오랜만에 갈 줄 알았는데 코로나로 진작에 취소돼서 못갔다), 한국사람들이 일본 여행을 좋아한다 등등 얘기도 했다. 그렇게 말하니 만약 면요리를 좋아하면 와서 라멘을 꼭 먹어라, 근데 호불호가 있는 두가지 서로 다른 스타일이 있으니 잘 알아보고 가야한다는 답이 돌아왔다.

사가와교수님 발표 얘기를 더 해보자면... 정보 이론과 열역학은 엔트로피라는 양을 중심으로 큰 교집합이 있지만, 또한 각자 다른 픽쳐와 관심사를 가지고있다. 또한 그것들 각각이 기계학습에 대한 이론적 이해에 나름의 방식으로 기여한다. 이번 스쿨의 취지 자체가 (특히 생체시스템에서) 그 모든 것들을 통합적으로 조망 및 이해하는 것인만큼, 정보열역학 분야의 전문가인 사가와 교수의 초청은 스쿨의 목적에 이보다 더 부합할 연사가 있을까 싶을 정도로 매우 적합했다고 보이며 내 흥미에도 맞았다. 여담이지만 사가와 교수님 본인도 이번 발표일정이 코로나 이후 첫 해외여행이라 감회가 남다르다는 식으로 말씀하셨다.

사실 나는 맥스웰의 악마와 정보 엔진 등에 대해 아직까지는 약간 개념적인 사고실험으로만, 혹은 다소 인위적이고 기초적인 실험셋으로만 존재하는 것인줄로 생각해서 개인적으로 큰 흥미를 느끼진 못했었다. 그런데 이번 발표에서는 나로서는 다소 고리타분하게 느껴지는 그런 거시적이고 도식적인 예시에서 출발은 했지만, 궁극적으로는 내게 익숙한 요동치는 small system에 대한 비평형 통계물리학이랑 잘 통합된 픽쳐로 소개해 주시니까 대단히 재밌었다.

그런 픽쳐에서 정보이론적 양들이 에너지적인 양들과 동등하게 다뤄지고, 일반화된 열역학 제2법칙 형태로 깔끔하게 써지는것도 마음에 들었다. 사실 아무리 맥스웰의 악마라도 2법칙을 만족하게끔 통합적으로 써지는건 당연히 그래야 하며 또 그렇게 될 수밖에 없는데, 미시적 비평형계에 대해 내가 파편적으로 찾아봤던 연구들에서는 그런걸 우아하지 못하고 덕지덕지(?) 형식화한 느낌이 있었다. 그런데 그걸 사가와교수님이 최대한 깔끔하게 정리해서 강의 해주신것 같다.

또한 맥스웰의 악마 같은 게 오직 이론물리에서만 관심을 갖는 특이한 상황같은 거라고 잘못 생각할수도 있으나, 사실은 확률열역학의 도구를 빌려 동역학적(dynamical)으로 형식화한다면 생체시스템의 정보이론적, 열역학적 view에도 무척 자연스럽고 풍부하게 적용될수 있다는 내 직관이 확인되는 것 같아서 마음에 들었다. 동역학적 개념으로서의 정보를 다루는 방법으로는 대표적으로 information flow와 transfer entropy가 있는데, 나는 이 두 픽쳐가 commensurable하지 않다고 생각했고, 그 둘중 어느쪽으로 합의가 안되고 공존하는 상황이 예쁘지 않고 불만족스럽다고만 생각했다. 그런데 사실 이 둘은 부등식으로 명확히 관계지어질 수 있다는걸 이번에 알게 되기도 했다.

사가와교수님이 연구를 소개하면서 마지막으로 들어주신 예시는 정보처리 기계로서의 칼만필터(Kalman filter)를 정보열역학적으로 보고 효율을 계산한 연구였다. 정보열역학적 효율개념이, 통계학에서 말하는 충분성의 개념 (sufficient statistics)과 나름대로 자연스럽게 연결이 된다. 내가 학부때 한동안 공부했던 칼만필터 등의 제어이론(control theory)과, 대학원에서 전공하고있는 비평형 통계물리학은 똑같이 확률미분방정식(SDE, 혹은 물리학자들의 용어로는 Langevin 방정식)을 사용한다. 그래서 이쪽으로 비교적 수월하게 넘어올수 있었지만 여전히 그 둘은 분명히 다르다고 생각한다. 그런데 이런 식으로 또 학술적으로 의미있게 관련이 지어지기는 하는구나 싶었다 (그래도 통계물리는 결국 물리고, 제어이론, 통계학, 기하학 등 다른 포말리즘과의 관련성 그 자체에 지나치게 매료되는건 조심해야되긴 한다. 당장 나부터도 그런 포말리즘적 연결을 과도하게 좋아하는 편인데 비해, 학술적으로 새로운 결과를 준다거나 하는건 별로 없는듯해서 일부러 경계하는 중이다).

워낙 기대하던 연사분이다 보니, 그다지 날카로운 질문은 아니지만 뭐라도 질문하고 싶어서 강의 도중, 그리고 강의 직후에 세네 개 정도의 기초적인 질문을 하기도 했다. 첫번째 질문은 핀트가 잘 전달이 안되었는지 만족스러운 답변을 듣지는 못했고, 나머지 답변에서는 매우 명쾌한 답을 들을 수 있었다. 그 내용은 다음과 같다.

(1) 어떤 물리적 시스템이 주어져있을 때 그것을 N개 state로 나눠서 보면 엔트로피의 상한이 log N이지만, 2N개 state로 나눠서 보면 엔트로피의 상한이 log 2N이다. 이는 물리계에 대해 생각만 다르게 했을뿐인데(think different) 물리량 자체가 달라진다는(physics does change) 인상을 준다. 이를 어떻게 이해할수 있는가?

(2) Autonomous한 정보처리 시스템을 소개할때 셋업으로 (i) continuous time을 생각하겠다 (ii) 계 외부로부터의 feedback control이 없는 계를 생각하겠다 이렇게 두가지를 제시했는데, 필연적으로 연결이 되는것인가 아니면 서로 독립적인 조건인가?

-> 문제 정의상으로는 서로 독립적인데, 실질적으로는 closely related되어 있다. 생체 기계들이나 인공 나노기계 등에 적용하기 위해 이러한 셋업을 한것이다.

(3) 세포 같은 걸 생각하면 아무리 autonomous하더라도, 피드백을 주는 demon이 계 안에 있는것일 뿐이지, 에너지 투입은 있어야 되는 것 같다. 내 생각처럼 에너지 주입이 정보처리를 drive하는 것이 맞나?

-> 그렇다. 에너지 주입이 정보처리로 연결되는 과정을 직접 모델링할수도 있다.

(4) 정보에 대한 dynamic한 formulation은 매우 재미있어 보이기는 한데, 커다란 summation을 포함하므로 scalable하지 않은것 같다. 정보이론적 양들을 효율적으로 계산할수 있는 방법 같은게 있는가?

-> 나는 수치적인 쪽의 expert는 아니지만, 그런 수치적인 방법들이 존재한다는것은 말할 수 있다. 하지만 기본적으로 헤비한 계산들인건 맞다.

이런식으로 질의응답을 했고... 특히 사가와 그룹은 최근에는 원론적인(?) 정보열역학뿐만 아니라 생체 기계들에의 보다 적극적인 응용도 하고있는 듯하니, 능동물질 쪽 연구자로서 앞으로 정보열역학 쪽과 엮일 일이 늘어나지 않을까 기대해본다. 특히 나 같은 경우 물리계에서 임의로 정의한 효율척도가 아니라 실제로 소모한 에너지와 관련된 thermodynamic cost를 수립하는 작업에 관심이 있다보니, 능동물질뿐 아니라 전통적인 정보처리시스템(계산기)에 대해서까지 이런 흥미를 확장한다면 정보열역학과 접점을 찾는것도 금방일듯하다.

사가와뿐만 아니라 스쿨 전체에 대해 총평해보자면... 스쿨이라는 이름에 부합하게 education에 초점이 맞춰진 무척 재밌는 학술행사였다. 5일 동안 총 네 분의 교수님이 템포를 조절해가며 기본부터 차근차근 가르쳐주셨고, 최신 연구도 조금씩 소개해주셨다.

내 본진(?)이라고 할수 있는 확률열역학을 다뤄주신 이재성 교수님 강의는, 익숙한 토픽들을 좀더 디테일하게 복습하는 느낌으로 들었다. 최근의 연구들을 보면 굉장히 근본적이어(?) 보이는 열역학적 부등식들도, 사실은 수리통계학에서 나오는 고등학교 수학스러운 부등식들을 tricky하게 열심히 적용해서 얻어지는 경우가 많은듯하다. 그런 tricky한 것들을 꿰뚫는 좀더 간명한 수학적 원리가 존재하지 않을까 생각을 해본다. (아마 이건 분명히 존재하지만 내가 못보고 있는듯하다)

이론물리학의 초일류 테크를 타다가 생물쪽으로 틀어서 미 국립보건원에 계시는 Vipul Periwal 교수님도 이번에 강의를 하셨다. 통계물리를 데이터사이언스에 적용할수 있게끔 analogy를 쭉 설명해주시고, large deviation theory를 차근차근 설명해주셨다. 이 역시 우리 연구실 스터디에서 다뤘던 부분이라 복습 느낌으로 잘 따라갈수 있었다. 한가지 새로웠던 것은 inverse Sanov theorem이었다. 이게 무엇인가 하면... 비평형 통계물리에서는 기본적으로 ground truth 분포 P을 알고있는 채로 empirical distribution F의 희소성을 생각하는데, 데이터사이언스는 정반대로 F를 알고있는 채로 P를 추정하는 것이다. 그래서 어떻게 하냐면 베이즈정리를 이용해서 조건부확률을 뒤집어준채로 large deviation을 한다. 간단히 키워드만 소개해주셨음에도 무척 재밌는 아이디어 같았고 오리지널 논문을 금방 찾을 수 있었다. 수학 논문치고는 그래도 물리학도가 이해할수 있는 수준으로 써놔서, 찬찬히 읽어보려고 한다.

한편 보스턴대학의 Mehta 교수님은 딥러닝이 왜 성공적으로 작동하는지에 대한 이론적 질문을 쉽고 재밌게 풀어주셨다. 나는 이번엔 모든 세션에 개근하나 했더니만 마지막 날에 호텔 말고 관악집에서 가느라 Mehta의 아침세션을 놓치고 말았는데... 이전까지는 딥러닝의 기초적인 내용(generalization, regularization 등)만을 쉽게 설명해주셨으나 하필 그 세션에서는 double descent 등을 포함한 모던한 이론적 understanding까지 인텐스하게 다뤄주셨다고 해서 후회가 되었다. 나중에 참고문헌 같은 거라도 올려주셔서 볼수 있었으면 좋겠다.

이번엔 우리 연구실 사람들은 나 포함 두명밖에 안 와서, 주로 우리랑 가까운 사이인 물리교육과 조정효 교수님 연구실 사람들한테 끼어서 같이 다녔다. 저녁시간에도 라구파스타, 텐동, 인도커리 등을 먹으러 같이 잘 다녔는데, 그러면서 이야기 해 보니까 머신러닝에 대해 이론적 깊이뿐 아니라 실용적(?) 감각도 많이 가지고 스터디도 다양하게 진행하는 열정적인 연구실인 것 같았고, 특히 내가 교양수준으로 좋아하는 디퓨전모델에 대해 최신의 흐름까지 자세히 알고 계신 것 같아서 앞으로도 더 많이 교류하면서 배우면 좋지 않을까 생각이 들었다.

이제는 school 파트는 끝났고, 다음주 월~화 동안 연구내용 발표를 하는 워크숍 파트가 남았다. 나는 이번에 포스터 발표를 하기는 어려운 상황이지만, 교수님들의 강연뿐 아니라 참석한 대학원생들의 포스터까지 한번 잘 들어보면 좋을 것 같다.

Facebook에서 이 글 보기: 링크

A Road to 'Science of Semantics' (의미의 과학 및 의미 엔지니어링의 가능성)

이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.

부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.

말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.

이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.

좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.

사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.

사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.

그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.

다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.

물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.

hapseda 블로그에서 이 글 보기: 링크

Facebook에서 이 글 보기: 링크

[도서 소개] 경로적분에 대한 종합적 시야를 제공하는 책 (Chaichian and Demichev)

이론물리학의 중심 도구인 경로적분에 대해 두고두고 참고해볼 만한 책을 찾았다 (Chaichian and Demichev, "Path Integrals in Physics", 아래에 링크). 인용수도 300여 회 정도로, 상당히 쓸만한 책이라는 느낌이다.

양자역학의 기술방법으로서 리처드 파인만의 경로적분(path integral)은 물리에 관심있는 독자들을 위한 대중 과학서적에서 상당히 자주 등장하며, 어떤 입자가 움직일 때 가능한 모든 경로를 동시에 거치는데 그 경로들 중에 대부분은 상쇄되고 액션이 최소인 것만 살아남는다는, 다소간에 신비스러운 인상으로 언급된다.

그런데 사실 경로적분의 초기적인 모습은 파인만보다 훨씬 이전으로 거슬러올라가, 모든 점에서 미분불가능한 경로를 갖는 무작위 움직임인 '브라운 운동'을 수학적으로 정식화한 Wiener의 기여 (그래서 브라운운동을 수학 쪽 사람들은 Wiener process라고 부른다) 가 그 시작으로 비정되기도 한다. 이것이 디랙, 파인만 등에 의해 라그랑지안과의 연관성이 지적되면서 고도화되고, 양자역학 및 양자장론에 성공적으로 적용되면서 이론물리학에 많은 발전을 가져다주었다고 영문 위키백과에서는 설명하고있다.

그리고 90년대 이후로 발전한 현대적인 비평형 통계역학에서도, 입자가 특정 경로를 겪을 (고전역학적) 확률을 Onsager-Machlup 경로확률로 기술한다. 이는 통계역학적 관심사라는 점에서 Wiener의 직접적 후신이라고 할 수 있을것이며, 평균된 엔트로피가 아니라 '확률변수'로서의 엔트로피를 정의하는데에 쓰이는 매우 중요한 양이다. 또한, 희귀한 현상의 발생빈도를 말해주는 rate function을, 통계학에서 나오는 generating function의 르장드르변환으로써 구하게 해주는 large deviation theory의 관점에서도 이러한 경로확률을 바라볼수 있다.

그런데 Braket notation을 쓰면 통계역학에서의 이러한 경로확률이, 양자역학의 경로적분에서 말하는 propagator와 거의 비슷한 양이라는것이 드러난다. 이렇듯 경로적분은 양자역학뿐만 아니라 고전역학, 통계역학 등 여러가지 이론체계 각각에서 매우 유용할뿐 아니라 그것들 사이의 깊은 링크를 제공해서 서로 통합적으로 조망할 수 있게 해 주므로, 전술했듯이 이론물리학의 가장 중심적인 도구라고 해도 과언이 아닐듯하다.

이 책의 Volume 1에서는 random walk부터 시작하는 경로적분의 elementary한 construction과, 양자역학(quantum mechanics)에서의 경로적분을 다루고있다. Volume 2에서는 양자장론(quantum field theory) 및 통계물리학에서의 경로적분을 다루고, 마지막으로 Parisi와 Wu에 의해 도입된, 양자장론의 stochastic quantization까지 소개한다. 이들 각각의 픽쳐 내에서 잘 쓰인 책은 많이 있지만, 이 책은 내가 늘 쓸데없이 많이 궁금해하는 부분인, 서로 다른 픽쳐들 사이의 링크를 명시적으로 제공해줄것 같아서 기대된다.

<도서 정보 링크>

Volume I: https://www.routledge.com/.../Chaich.../p/book/9780367397142

Volume II: https://www.routledge.com/.../Chaich.../p/book/9780750308021

Facebook에서 이 글 보기: 링크

능동물질 연구의 대가, M. E. Cates 케임브리지대학 루카스 석좌교수

아이작 뉴턴, 폴 디랙, 스티븐 호킹 등이 거쳐 간 케임브리지 대학의 석좌교수직인 루카스 석좌교수 (Lucasian professor of mathematics)는 2015년 이래로 마이클 케이츠 (Michael E. Cates) 교수님이 역임하고 있다.

이 분의 주 연구분야는 연성물질(soft matter), 그 중에서도 꾸준히 에너지를 소모하면서 평형으로부터 벗어난 채로 와글거리는 물질군인 능동 물질(active matter)이다. 박테리아들의 모임이나, 세포 내부의 복잡한 환경 등을 그 예시로 들 수 있다. 이러한 물질들에서는 일반적인 평형상태의 액체 및 기체에서는 나타나지 않는 상들 (작은 크기의 구멍들이 뚫려 있다거나, 유한한 크기의 방울들을 이루되 더 성장하지는 않는다거나) 이 나타난다.

Cates 그룹의 연구는 이러한 현상들에 대한 practical한 생물물리학적 모델링에 그치는 것이 아니라, 순수 이론물리에서 주로 볼 법한 미니멀한 통계장론(statistical field theory)적 접근 및 RG 해석을 적극적으로 채용하여 다양한 임계현상을 탐구하는 등 특유한 스타일을 가지고 있다.

나 같은 경우 미시적 디테일을 갖춘 사실적이고 정확한 모델링도 물론 좋지만, 미니멀한 원리와 멋있는 이론적인 포말리즘으로부터 탑다운으로 유도해나가는 걸 분수에 안맞게 무척 좋아한다. 그렇다 보니 나로서는 이런 스타일의 연구들이 꽤 마음에 든다. 이분의 구글 스콜라 페이지 (링크) 에 들어가서 보면, 최고 저널인 PRL과 PRX에만 대체 몇개를 쓰신 것인지 셀 수 없어서 놀라게 된다.

우리 지도교수님도 임용 직전까지 Cates 그룹에서 포닥을 하셨는데, Cates와 이름이 직접 같이 올라간 논문은 없지만 Cates와 늘 같이 일하는 (주로 유럽 쪽) 분들이랑 함께 논문을 여럿 쓰셨다. 나 또한 학위과정 동안, 혹은 포닥 때 이분들이랑 협업할 기회가 생긴다면 좋을듯하다.

Facebook에서 이 글 보기: 링크

Optimal transport accelerates the score-based generative modeling

<Midjourney가 시간과 에너지를 아끼려면? : 최적수송이론에 근거한 최신의 연구 소개>

Diffusion model (혹은 사실상 거의 같게 사용되는 용어로, score-based generative models) 은 최근에 머신러닝에서 크게 각광받고 있다. 특히 사용자가 prompt를 입력하여 원하는 이미지를 생성해내는 text-to-image generation의 경우는 매우 커다란 데이터셋과 모델에 힘입어 Midjourney, StableDiffusion, DALL-E 2 등의 서비스로 출시되기도 했다. 이들 서비스는 의미론과 텍스쳐 양쪽에서 명백히 '창의적'이라고 말하고 싶을 정도로 뛰어난 피쳐 학습 및 재조합 능력을 보여주며, 단순히 학계 내의 주목을 넘어 예술분야 및 호사가들에도 새로운 영감과 고민을 제공하고있다.

나는 이미 작년 12월에 wombo라는 서비스를 접하고 포스팅을 했었다 (블로그에서 해당 글 읽기: 링크). 해당 서비스는 디퓨전 모델은 아니고 GAN의 한 변형인 VQGAN이라는 모델을 이용했는데, 이미 상당히 창의적인 이미지를 생성해주었다 (이를테면 내가 입력해본 프롬프트인 'nvidia building', 'mecha donald trump' 등이 있다). 그러나 모델의 설계 자체가 가진 한계인지, 아니면 컴퓨팅 파워의 한계인지, 이미지가 선명하지는 않고 모호하게 뭉개져있는 듯한 느낌이었다. 사실 generative art라고 하는 분야에 추상적인 패턴뿐만 아니라 의미론이 들어오는걸 오랫동안 소망해온 나로서는 이 정도만 해도 엄청나게 신기한 결과긴 했다.

한편 디퓨전 모델의 경우는 일부 task에서 GAN을 넘는 성능을 보이는 등 성공의 가능성이 보이자, 대량의 컴퓨팅 파워와 고급의 엔지니어링이 투자되어, 매우 선명하고 모든 부분을 식별가능한 이미지들까지 만들어낼 수 있게 되었다. 이는 위에서 말한 유료 서비스들의 출시와 본격적 유행으로까지 이어질수 있었다.

이 글에서는 이러한 디퓨전 모델의 기본적인 작동원리와, 그 가장 큰 문제점을 상당부분 해결할 것으로 기대되는 최신의 연구에 대해 간단히 소개해보도록 한다. 옆 연구실과 함께하는 세미나에서 발표한 자료를 하단에 첨부한다 (슬라이드별 간단한 설명은 차근차근 추가예정).

디퓨전 모델의 기본적인 컨셉은 다른 복잡다단한 인공지능 모델들에 비해 비교적 간단하고 우아한 편인데, 이는 물리학, 화학 등에서 종종 등장하는 현상인 확산(diffusion) 및 그것을 기술하는 비평형 통계역학 (non-equilibrium statistical mechanics)의 방법론에 근간을 두고 있다.

사람 얼굴 데이터, 숫자 손글씨 데이터 등 모든 이미지 데이터셋은 각각의 '분포'를 가지고 있다. 무슨 뜻이냐면, 존재할 수 있는 수많은 이미지(=2차원 행렬)들 중에, 사람 얼굴 사진처럼 생긴 이미지는 극히 일부일 것인데, 모든 가능한 이미지들을 모아놓은 추상적인 공간 상에서 자기들끼리 비교적 가깝게 모여서 어떤 덩어리를 형성하고 있을 거라는 뜻이다.

그런데, 모든 가능한 이미지들의 공간에서 아무 점이나 골라보면 마치 TV 잡음처럼 랜덤한 이미지일 가능성이 압도적으로 높다. 그런 공간에서 사람 얼굴처럼 생긴 이미지들의 모임을 생각하면, 그 윤곽은 꽤 복잡하고, 들쭉날쭉하게 생겼다고 생각할수 있다.

(물론 차원 자체가 워낙 높아서 생각보단 괜찮게 생겼을지도 모르나, 이 경우에는 sparse함이 문제가 된다. 이런 문제를 그나마 개선해줄 수 있는 게, 휘어진 평면을 다루는 기하학인 Riemannian manifold를 도입하는 것이다. 실제로 머신러닝에 많이 적용되고 있으며 디퓨전 모델에도 적용한 연구들이 속속 나오고 있다)

다만 우리가 실제로 그 분포를 알고 있는 것은 아니다. 우리는 그 분포를 따르는 여러 개의 점들 (이미지들) 만 가지고 있다. 점들을 알고 있으니 대충 윤곽을 따라갈 수 있지 않냐고 할 수 있는데, 굉장히 정확한 지적이다. 그러나 고차원이고 커다랗기 때문에 현실적으로는 어렵고 이에 기계의 힘을 빌리고싶다. 만약에 그 분포의 윤곽 자체를 안다면, 사람 얼굴이면 얼굴, 숫자면 숫자, 풍경이면 풍경 등, 기존에 존재하지 않았지만 분명히 사람 얼굴에 해당하는 (혹은 다른것에 해당하는) 이미지를 만들어낼수 있을 것이다. 이게 생성모델의 기본 개념이다.

어떻게 그렇게 할 수 있을까? 다양한 방법이 있는데, 디퓨전 모델에서는 먼저 이러한 복잡한 분포에 작은 노이즈를 단계단계 조금씩 집어넣어, 커다란 공간 전체를 비교적 균일하게 채우는 정규분포 같은 분포로 바꾸어준다. 이는 '좁은 용기 속에 있던 기체분자가 방 전체로 퍼져나가는 것', 즉 확산에 비유할 수 있다. 그런데 사실은 비유일 뿐 아니라 수학적으로 정확하게 똑같게 기술된다. 이를 분포를 '부순다'고 표현하자.

그 때 분포가 어떻게 부서지는지 그 양상을, 인공신경망을 이용해서 학습하자. 인공신경망은 기본적으로 뭐든지 흉내낼수 있는 매우 커다란 함수라고 보면 된다. 아무튼 이렇게 부서지는 양상을 알았으니, 반대로 균일한 분포 (위에 말한 TV 잡음 같은걸 모두 포함한) 로부터 원래 분포를 만들어낼 수 있다 (약간만 더 테크니컬하게 말하면 베이즈 정리에 근거해서 조건부확률을 뒤집어주는 것이다).

그러나 디퓨전 모델의 매우 큰 문제점은, 원래의 좁은 분포를, 전체 이미지들이 이루는 고차원 공간을 균일하게 채울 때까지 단계단계 조금씩 부수면서 학습해야 하기 때문에 학습과 생성에 너무 많은 시간이 걸린다는 것이다. 이 문제는 신경망의 크기를 키운다고 해결되는 것은 아닌듯하다.

이번에 소개한 논문인 Diffusion Schrodinger Bridge에서는 이 문제를 해결하기 위해, 최적 수송 이론 (optimal transport) 및 그것의 변형인 슈뢰딩거 브릿지 (Schrodinger Bridge)를 도입한다. 최적수송이론은 어떠한 분포 p0을 다른 분포 p1로, 유한한 고정된 시간 내에 반드시 보내게끔 강요하는 (정확히 말하면, 최소의 비용으로 그렇게 보낼수 있는 구체적인 경로를 찾는) 것에 관한 이론이다. 딱 들어도 위에 말한 디퓨전모델의 문제점 해결에 적용될 수 있겠다는 직관이 든다.

최적수송 이론을 약간 변형시킨 슈뢰딩거 브릿지 문제는, IPF 알고리즘이라는 기존에 잘 정립된 방법을 통해서 풀 수 있다. 대략적으로 설명하자면 처음에는 마지막 분포 p1을 고정시킨 채로, 그 다음에는 처음분포 p0을 고정한채로, 그 다음에는 다시 p1을 고정한채로... 이런식으로 왔다갔다 하면서 좁혀서 점점 p0에서 p1으로 가는 좋은 경로를 찾아준다. 실제로 저자들은 이 방법을 적용해서, 데이터 분포를 노이즈 분포로 부수는 과정을 가속(혹은 단축)시켜 준다.

그 결과도 상당히 괜찮아서, 기존의 디퓨전 모델보다 훨씬 짧은 시간에 원하는 사람얼굴 이미지를 나름 선명하게 만들어낸다. 한편 재밌게도, 노이즈로부터 원하는 사진들을 만들어내는 것뿐만 아니라, 서로 다른 두 분포를 내삽(interpolation)하는 것도 가능하다. 무슨 말이냐면, 숫자들과 알파벳글자들 사이의, 혹은 땅속 풍경과 바닷속 풍경 사이의 '가장 자연스러운 연결'을 찾아줄 수 있다는 것이다 (물론 기준에 따라 다르며 딱히 과학적 진리 같은것은 아니다).

아무튼 매우 흥미로운 아이디어이고, 앞으로 사람들이 이것을 더 큰 모델들, 더 어려운 task에 대해서까지 이게 잘 적용되는지, 그리고 end-to-end로 잰 실제 시간과 자원이 절약되는게 맞는건지 등을 테스트를 해보면 좋겠다. 만약에 더 어려운 문제들에 대해서까지 결과들이 꾸준히 잘 나온다면, 각광받는 디퓨전 모델의 큰 문제가 꽤나 해결된 셈이겠다.

Slide refined at June 21 (2025)

Deepest (an SNU student club on deep learning) Season 17 Hosting