혼돈의 가장자리에서의 계산, 언어의 멱법칙 그리고 어텐션 메커니즘

옛날에 물리학자들이 computation in edge of chaos (혼돈의 가장자리에서의 계산) 이라고 해서, 창발적인 정보처리 시스템 (말하자면 일종의 아날로그 계산기)가 바로 임계점 (criticality), 즉 혼돈과 질서의 경계 근처에서 작동을 잘 한다는 연구를 많이 했었다. 주로 세포 자동자(cellular automata)를 바탕으로 한 연구들인데, 이런 개념이 90년대 당시의 신경망 연구에도 나름 적용이 시도되었던 것으로 안다.

딥러닝 붐 이후의 deep information propagation이라는 일련의 연구 흐름에서도 꽤 비슷한 메시지가 있다. 정보가 뉴럴넷의 layer를 따라서 충분히 깊게까지 전파되려면 뉴럴넷의 파라미터들이 임계점 근처로 초기화되어 있어야 한다. 그런데 untrained 뉴럴넷에서의 정보 전파의 평균 깊이는, 다름아니라 훈련 가능성 (trainability) 과 dual 관계임이 알려져 있다. 따라서 뉴럴넷이 학습이 잘 되기 위해서는 임계점 근처에서 초기화 되어야 한다는 것이다.

그런데 현실의 딥러닝에서는 이런 이상적인 뉴럴넷이 아니라 복잡한 기법이 덕지덕지 붙어 있는 아키텍쳐를 사용하는데, 과연 이러한 empirical한 상황들에서도 위와 같은 얘기가 의미가 있을까? 현재까지 생각하기로는, 정답은 '있다'인 것 같다. 대표적으로, 유명한 ResNet 모델처럼 skip connection을 주면, gradient가 exponentially explode하지 않고 따라서 뉴럴넷이 edge of chaos에 더욱 효과적으로 머무른다(hover)는 연구가 있다.

이외에도, 모델이 vanilla하고 단순할수록 임계점에서 쉽게 멀어져 버리고, 복잡한 기법들이 덕지덕지 더해졌을때 오히려 임계점 근처에 잘 머무를 수 있다는 생각은, 물리에서 스스로 짜인 임계성 (self-organized criticality) 이 왜 그리 특별하게 받아들여지는지 상상해 보면 그리 이상하지 않은 것 같다. 사실 내가 SoC를 제대로 공부해본건 아니어서 부정확한 상상일수도 있지만 말이다.

그리고 이런 식의 각론을 떠나서, 너무 질서있지도, 너무 혼란스럽지도 않은 딱 중간지점에서 자명하지 않고 재미있는 현상들이 나타날 것이라는 게 복잡계 과학을 연구하는 통계물리학자들 사이의 어떤 믿음이기도 하다. 그리고 통계물리학자라면 finite-size effect라는 이름으로 많이 들어 보았겠지만, 시스템의 크기가 무한하지 않을 때 이러한 혼돈의 경계는 sharp한 경계선 (메져 제로) 이 아닌 유한한 영역으로 뭉개지게(?)되고, 따라서 파라미터를 잘 고르면 실제로 달성이 가능하게 된다.

위와 같은 맥락에서 최근에 나는 트랜스포머의 셀프-어텐션 메커니즘 기반의 거대 모델들이 임계점 근처에서 작동할 거라는 상상을 하고 있다. 이거는 위의 맥락뿐 아니라 조리있는 언어 데이터 (요즘 말로 하면 거대언어모델의 출력데이터) 가 멱법칙을 보인다는 오래 연구된 관찰과도 합치한다. 그런데 이상하게도 이것을 직접 다루는 논문은 물론이고 간접적으로 시사하는 논문도 그리 많지는 않으며, 임팩트가 높지 않은 논문들만이 몇 건 있다.

복잡계 과학이라고 하는 분야가 임계현상, 혼돈의 경계, 비선형성, 자기조직화 임계성 등의 키워드 그 자체만으로 대단한 흥밋거리와 떡밥이 되는 시절은 아쉽게도 좀 지나가긴 했다. 그래도 물리학 및 인접분야 사람들이 이런 걸 분명히 많이 알고는 있을텐데 최근의 트랜스포머 기반의 거대모델에 대해 많이 적용을 안 한 것을 보면, 이미 다 계산해 봤는데 별다른 재밌는 게 안나오거나, 아니면 충분히 가능한 픽쳐인데도 아직 어려워서 안하거나 둘 중 하나일 것이다. 똑똑한 사람이 워낙 많으니 전자일 가능성이 높겠지만... 이쪽을 한번 공부하고 탐구해 보아도 재미있을 것 같다.

Facebook에서 이 글 보기: 링크

정보열역학(information thermodynamics) 공부의 계기

최근에 생각중인 주제는 여러 구성요소가 있는 시스템에서 협력 및 동기화라는 현상을 정보 교환이라는 관점에서 보는 것이다. 물리학에서의 정보라는 것은 일상에서의 정보와 상당부분 통하기는 한다. 그런데 정보가 많다 혹은 적다 라는 것이, 상황과 해석에 따라 일상에서의 의미와 같을 때도 있고 다를 때도 있다 보니 처음엔 상당히 헷갈릴 수도 있다.

통신이론에서 출발하여 전기전자공학에서 널리 언급되는 섀넌의 정보엔트로피가 물리학자들의 엔트로피와 기본적으로 동일한 양이라는 점은 널리 알려져 있는데, 정보열역학이라고 하는 분야는 에너지 교환뿐만 아니라 정보 교환(계의 구성요소가 서로의 상태를 탐지해서 피드백을 주는 것)까지 포함해서 열역학을 기술하고자 하면서 그 둘의 구체적 접점을 보다 비자명하게 탐색한다.

정보열역학 하면 주로 맥스웰의 악마, 질라르드 엔진(Szilard engine) 같은 아주 단순화된 모형계에 대한 연구를 떠올린다. 이것이 2000년대쯤부터는 Sagawa, Parrondo 등의 여러 파이오니어를 통해 연속적 동역학을 가진 시스템들에까지 확장되었고, 극히 최근에는 생체계에서의 정보처리 (정보교환이 있어야 생체 내 과정들이 정밀해짐. Leighton and Sivak 등) 혹은 아예 란다우어 원리를 필두로 한 미시적 계산장치들에 대한 이론적 분석 (Wolpert, Crutchfield 등) 등에도 적용되고 있다. 후자의 경우 나는 아날로그 딥러닝의 효율 분석 및 개선에도 적용될수 있을거라고 전망하고 있다.

내가 정보열역학에 관심이 생긴 것은 정보라는 것이 통계열역학 분야의 외곽에 약간 억지로(?) 들어와 있는 것이 아니라, 시스템을 두 하위 시스템으로 쪼개는 단순한 처리만으로도 매우 자연스럽게 정보의 개념을 고려하게 되므로 상당히 중심적인 양이라는 생각을 하게 되어서 그렇다. 즉, Szilard engine에서의 measurement and feedback을 통한 정보 처리 과정은 사실 아주 특별하고 새로운 것이 아니며, 상호작용하는 여러 구성요소를 가진 물리계라면 으레 존재하는 것이다.

각 하위 시스템에 대해 2법칙을 썼을 때, 전체 시스템에는 정보 개념이 없더라도 각 하위 시스템에 대한 2법칙에는 정보 개념이 들어가게 된다. 만약에 협력하는 여러 개체로 구성된 어떤 기계가 바깥에 유용한 일을 해 줄 때, 각 개체의 열효율을 2법칙에 부합하게 쓰면 그 효율에도 정보개념이 들어간다. 전체 효율과 하위시스템의 효율이 어떤 관계가 있는지, 정보교환이 클때 여러가지 이례적 현상들이 나타나지는 않을지 등을 연구하면 재미있을 듯하다. 이는 우리 연구실의 중심 토픽인 active matter의 집단현상에서도 중요할 수 있지 않을까 생각한다. Active matter가 일으키는 여러 재미있는 현상들의 가장 중심에는 결국 주변 환경에서 특정한 종류의 신호를 강화시키는 정류(rectification) 효과가 있다고 믿고 있는데, 이 정류라는 것이 다름아니라 measurement and feedback과 거의 동일한 것 같기 떄문이다.

일본 쪽 연구자 분들이 특히 잘하는 확률열역학 이론 분야에서, 정보개념까지 같이 생각하는 연구들이 속속 나오고 있는데 이들의 연구를 따라가 보면 좀더 우아하고 보편적으로 이론을 전개하는 방법을 배울 수 있지 않을까 한다. 7~8월에 일본출장이 예정돼 있는데 그 전에 여러가지 질문거리들을 꼭 준비해서 가야겠다.

Facebook에서 이 글 보기: 링크

역전파(backpropagation)의 참된 중요성 이해하기: 자동미분과의 연장선에서

이제 와서 부끄러운 얘기일 수 있으나 그동안 머신러닝에서 gradient update에 사용되는 backpropagation에 대해, 그냥 gradient를 계산하기 위한 테크닉으로써 딥러닝이 현실적인 비용으로 작동할수 있게 하는 돌파구에 불과할(?) 뿐, 뉴럴넷의 작동 이유를 이론적으로 이해하는 데에는 별로 중요하지 않다고 생각해서 별로 신경을 안 썼었다.

그런데 얼마전에 물리 및 ai 기반 그래픽스 쪽에서 공부하는 분이 읽고 계신 Hamiltonian neural network 관련 논문을 함께 디스커션 할 기회가 있었는데, 얘기하다 보니 이게 절대 그렇지가 않은 듯... 뉴럴넷에서의 backprop뿐만 아니라 오히려 그것의 원관념(?)에 해당하는, 동역학을 가진 시스템의 최적화 등에서 많이 쓰는 자동미분(automatic differentiation)을 함께 보면 이쪽 패러다임이 왜 중요한 것인지, 왜 흥미로운 것인지 잘 이해하게 되는 듯하다.

여러 가지 함수 (그 각각의 미분을 symbolic하게 알고 있는) 각각을 노드(node)로 생각하면, 그것들을 graph로 연결시켜서 합성함수를 만들 수 있다. 이렇게 만든 함수도 그림으로 표현되어 있을 뿐, 결국 인풋과 아웃풋을 갖는 그냥 수학적인 함수일 것이다.

근데 이 함수를 수치적으로 미분을 한다고 하면, 이 함수에 두 개의 서로 아주 가까운 인풋을 넣고, 그 아웃풋을 비교해서 근사적으로 미분계수(도함수의 값)을 구해야 한다 (미분계수는 평균 기울기의 극한이니까). 이것은 번거로운 일이고, 인풋의 차이는 최대한 작아야 하는데 함수가가 커다랄수록 출력 함수값의 에러는 쌓일 테니, 에러가 잘 매니지돼서 원하는대로 잘 working할지 알기 어렵다. 그리고 각 인풋에 대해 이 도함수를 evaluate할 때 매번 새롭게 해야 한다.

근데 각 노드의 도함수를 symbolic하게 알고 있다면, 그걸 체인룰(합성함수의 미분)을 통해 조합해서 사칙연산만으로 도함수를 구할 수 있다. 이렇게 아무리 새롭게 graph로 연결을 지어서 만든 새로운 함수에 대해서도, 도함수와 그 값을 비교적 쉽게 얻을 수 있는 것이 바로 체인룰을 영리하게 사용한 자동미분이라고 이해해볼수 있다.

반면에 함수의 꼴조차도 아예 모를 경우에는, (ReLU나 Sigmoid 등의 꼴을 주로 갖는) perceptron을 일종의 '비선형의 최소 단위'로 간주하여 아주 많이 조합한 multi-layer perceptron으로 모형화해야 하며, 이것으로 임의의 함수를 shaping할 수 있다는 보편근사정리가 있다. 그리고 이게 바로 가장 간단한 뉴럴넷인 것이다.

그런 면에서 뉴럴넷의 역전파를, 위에서 말한 graph로 표현된 합성함수에 대해 사용하는 자동미분과 연장선상에서 이해하게 된다. 함수의 틀이 정해져 있느냐, 아니면 그조차도 몰라서 무작정 수많은 퍼셉트론의 조합으로 두었느냐만 다를 뿐이다. 수학적으로야 backprop이 자동미분의 리버스버전의 일종일 뿐이니까 더욱 명확한것 같고.

특히 physics-informed neural network (PINN) 를 보면 뉴럴넷 자체를 어떤 해밀토니안이나 액션 같은 함수 (및 범함수)의 proxy로 생각할때가 많은데, 이럴때는 꼭 최적화를 위한 SGD에서의 gradient 계산이 아니더라도(이건 그냥 패키지를 갖다 쓰면 되니까), 해밀턴 역학 특성상 뉴럴넷이라는 커다란 함수를 여러 변수로 미분한 도함수를 생각해야 할 때가 많이 있고 이럴 때 자동미분을 잘 이해하고 직접 사용해야 하는듯하다. 해밀토니안 내지는 액션을 미분을 해야 실제 물리 방정식을 얻을 수 있어서 그렇다.

암튼 이렇게 새로운 시각을 얻게 되니 backprop의 중요성에 대해 더 깊이 이해한 것 같고, 이런 것을 딥러닝 이전부터 활용하고 발전시켜 온 공학적 최적화 분야나 그래픽스 등도 무척 재밌는 분야인 것 같다.

Facebook에서 이 글 보기: https://bit.ly/3IXFdcv

(해당 포스트의 덧글타래에 이쪽 방법론의 박사급, 교수급 선생님들이 도움을 주셨으므로 읽어주신 분들 중 더 자세한 관심이 있으시다면 이쪽을 참고해주시면 유익할 것입니다)

프롬프팅을 통한 거대언어모델 설계원리 탐구에서 실험디자인과 해석의 중요성

기술의 세부에 대해서는 잘 모른채로 그냥 상상해 보는 것인데, ChatGPT를 비롯한 거대언어모델(Large Language Model, LLM)의 특성을 얘기하기 위해 프롬프트를 넣어서 조사를 할 때, stylized output을 줄 수 있는 LLM의 높은 capacity를 고려하여 실험 디자인과 그에 대한 해석에 상당한 주의를 기울여야 할 것 같다.

LLM을 가지고 놀다 보면 자기 자신의 특성 및 설계원리를 근본적으로(?) 드러내어 주는 것처럼 보이는 출력을 내는 경우가 있다. 자기 자신이 ai로서 어떠한 특징을 갖게 설계되었다는 명시적 응답은, 개발자들의 의도에 맞게 하드코딩되거나 RLHF되었을 수 있다는 생각을 사용자들이 쉽게 할 수 있으므로 오히려 비교적 덜 속아넘어갈 수 있다. 그것보다는, 우연성에 강하게 의존하는 작업을 시킬 때 LLM 자신도 모르게 그런 설계원리를 드러내어 버린 것처럼 보이는 경우가 특히 더 미묘하다.

그런데 여기서 생각해야 할 점은, 그렇게 accidental하게 설계원리를 드러낸 것처럼 보이는 사례들조차 대부분 stylized output, 즉 매 dialogue마다 다르게 일종의 '컨셉을 잡은' 연기에 불과할 수도 있다는 점이다. 즉 LLM이 제로샷 능력(더 구체적으로는 in-context learning 능력)에 힘입어 여러가지 처음 보는 과제 및 잘 정의되지 않은 과제를 수행하는 워낙 높은 capacity를 가진 탓에, 어떤 단일 dialogue만 보면서 그것이 다른 dialogue에 비해 더 근본적으로, LLM에 내재된 중요한 특성 탓에 광범위하게 나오는 결과라고 함부로 결론내릴 수 없는 듯하다.

세심하고 반복적인 프롬프팅을 통해 LLM이 가진 경향성을 탐색하고 성능을 최대로 이끌어내는 작업은 중요하고 흥미롭다. 그러나 실험자가 무엇을 보려고 의도해서 그것을 실제로 보았을 때, 단순히 그 담화 내에서의 연기에 속아넘어가는 게 아니라 LLM의 아주 일관적인 특성을 드러내었음을, 즉 소위 말해서 학술지식으로서 가치가 있는 '논문감'임을 입증하려면 실험 디자인과 해석을 굉장히 잘 해야 하는것 같다.

사실은, 본질(?)이 아닌 연기임에도 아무튼 그러한 연기를 이끌어내는 체계적인 프롬프팅 방법이 존재하고, 그로 인해 좋은 성능이 나온다면 이 역시 의미있는 결과가 되기도 할 것이다. 그 두 가지를 구별하기도 어렵다. 예컨대 특정 프롬프팅을 통해 LLM이 SAT 시험 문제를 훨씬 잘 풀게 되었다고 하면 (실제로 이와 비슷한 결과들이 굉장히 많다), 이것은 stylized된 연기라고 하더라도 아무튼 그 시험을 실제로 잘 풀게 된 것이며, LLM은 분명히 그런 능력을 가지고 있다고 말할 수 있을테다. 이는 의미있는 지식이 된다.

한편, 뭔가 도식이 한 군데 잘못되어 있어서, 일관적인 이상한 방식으로 시험문제를 틀리는 dialogue도 존재할 수 있을테다. 이런 컨셉을 수행하는 능력 역시, 설계 원리상으로 보면 어떤 failure라기보다는, 위 문단에서 서술한 시험문제를 잘 푸는 dialogue와 비교했을 때 꼭 그것과 같은 만큼 'LLM이 가지고 있는 능력'이라고 봐야 되지 않을까 하는 것이다.

때에 따라 매번 다르게 수많은 컨셉을 잡고 얘기를 할 수 있는데 (혹은 언제나 그렇게만 할 뿐인데), 그 컨셉이라는 것에 실제 전문적인 수준의 퍼포먼스를 발휘해 주는 것까지 포함이 되어 버리다 보니 LLM이 우리의 직관을 벗어나는 점이 많은 것 같다.

또한 유명한 ChatGPT 탈옥 방법으로 'pretend that you are a~' 따위의 프롬프팅을 통해서 부적절하고 위험한 결과를 내는 게 있는데, 이때 사용자는 겉으로 안 보이게 안에 숨겨져 있는 어떠한 능력을 uncover했다는 느낌을 받게 된다.

그러나 사실은 그냥 LLM에는 구조상 '겉면밖에 없고', 때에 따라 완전히 다른 겉면들을 보여주며, 그것들 중에 RLHF를 통해 금지해 둔 한 가지를 우회적으로 본 것일 뿐이라는 게 좀더 적절한 이해일 수도 있을 것 같다. 이런 점에서 흔히 아이폰 같은 데서 얘기하는 탈옥과는 많이 다른 듯하다.

물론 by design 그렇다는 것이지, 능력의 어떠한 계층 구조가 자연스레 emerge했을 수는 있고, 그런 걸 탐색하는 것도 정말 재밌는 작업일 것이다.

아무튼 생명과학, 심리학 등 복잡한 대상을 다루는 실험과학 분야에서도 과연 연구자가 원하는 그 효과를 제대로 보고있는게 맞는지를 확신하기 위해 실험 디자인에 굉장히 공을 들이는 것으로 알고 있는데, LLM을 대상으로 한 실험들에서도 비슷한 면모가 있는 듯하다.

특히 LLM의 경우 시험문제 고득점 하는것처럼 명확한 척도가 있는경우도 있겠지만, 여러 가능성이 열려 있는 창의적인 과제에 대한 수행능력을 평가할때 일률적 정량화가 곤란한 semantic한 층위가 전면에 들어오다보니 더 미묘한 면이 있는 것 같다. 연구문제 설정과 실험 디자인에 있어 생각을 아주 정밀하게 해야지만 믿을 만한 지식으로 정리가 될 듯하다.

아무튼 방대한 데이터와 심원한 아키텍쳐로부터 오는 LLM의 과제 수행능력이, 단순히 답을 잘 주는 걸 넘어 다양한 부문의 대화를 수행하는 데 이르는 것을 보면 굉장히 기분이 묘하다. 마치 사람이 직업상 아주 틀에 박힌 말을 할 수도 있지만 동시에 사적인 자리에서는 개인으로서 여러가지 입체적 면모를 가지고 말을 할 수도 있는 그런 느낌이 들기도 한다. 이는 수많은 종류의 텍스트를 학습한 덕분일 것이다.

이러한 LLM은 성능이야 무척 좋지만 결국은 과제별로 따로따로 학습해야 하는 전통적인(?) 딥러닝에 비해서도, 양적, 질적, 개념적으로 한 차례 도약해 있는 패러다임이라고 생각이 든다.

물론 서두에 말했듯 개인적으로 이쪽에 대해 주워듣고 내 마음대로 생각해 본 것들은 있지만, 제대로 된 전문적 이해는 없는 관계로 이 모든 내용은 상상에 불과하며, LLM을 평가하고 이해하기 위한 더 좋은 방법과 개념적 틀들이 이미 있을 존재할 것이다. 이들을 기회가 될 때마다 잘 팔로우업해 보고자 한다.

Facebook에서 이 글 보기: 링크

이론물리학 지식 습득에의 미련에 관하여

공부를 하다 보면 앞으로 어차피 들여다볼 시간과 기회가 없을 법한, 그리고 내 연구와 직접 연결될 거라고 기대하기 어려운, 어렵고 멋있어 보이는 지식체계 및 이론들에 대해서 많은 미련을 가지는 편이다. 사실 특정 연구주제에 대한 전문성을 요구받기 이전인 학부생 시절에 그런 토픽별 공부를 깊게 해 두었으면 좋은데, 그렇지 못했다 보니 더 그런 것 같다.

어떤 교수님들은 박사과정 대학원생 때야말로 '공부'를 할 수 있는 마지막 기간이라는 점을 강조하시며, 연구와 직접 관련있지 않더라도 궁금한 이론들이 있으면 지난(至難)한 계산들을 직접 해 보며 많이 습득해 두라고 조언을 해 주신다. 한편, 명확한 목적이 없이 단순한 호기심으로 책을 독파하는 식의 공부는 가급적 지양하고 연구와의 관련성 하에서 효율적인 공부를 하며 연구에 집중하도록 조언을 해 주시는 분들도 계신다.

능력이 아주 뛰어나서 공부하는 속도가 빠르다면 위 둘을 모순되지 않게 병행할 수 있겠으나, 물리학과 내에서 보통 혹은 그 이하의 실력을 가진 내 입장에서는 유한한 시간이라는 제약 하에서 위 둘은 현실적으로 충돌하며, 이도저도 아니게 둘 다 가져가려 하기보다는 선택을 해야 하는 입장이다. 이런 입장이라면 결국 대학원생은 (특히 박사 수료 이후에는) 학생이라는 신분보다는 연구에 시간을 투입해서 논문을 써야 하는 예비 연구자로서의 신분이 강하다는 생각이 들고, 나로서도 그러지 않으면 초조하기도 해서, 적어도 강령으로서는 후자에 더 무게를 둘 수밖에 없다.

노력해서 습득할 수 있는 멋진 이론물리학 지식 체계 - 심지어 그것들은 수학적으로 기술되다 보니, 그저 체계적이기만 한 사상누각 같은 게 아니라 객관적으로 검증 가능하며 새로운 지식을 무한히 창출하는 것들인데 - 가 멀쩡히 존재하고 있음에도 그것을 일일이 이해하고 싶다는 미련을 버리는 게 연구자로서 필요한 덕목일 수 있다는 것이다. 대학원 다니면서 제한된 시간 내에서 직접 부딪혀 보며 잘 납득하게 됐지만 마음 속 깊은 곳에서는 아직도 와닿지가 않는다.

물론 그렇다고 해서 시간을 들여서 그 지식들을 직접 공부 해내느냐 하면... 그러면 차라리 좋을 텐데 위에서 말했듯이 그것조차 아니다. 결국 능력과 시간이 부족해서 못 하면서 무의미한 미련만 계속 생기는 것 같다. 여러모로 내 여건과 능력 하에서 공부해 볼 수 있는 것들의 한계를 인정하고 미련을 버리면서 지혜롭게 치고 나가는 태도를 마음 깊이 내면화해야 할 것 같다.

잠깐 대학원생의 이러한 자세한 사정을 차치하고 조금 더 일반론적인 관점에서 '지식 추구'로서의 공부에 대해 이야기를 해 보자. 입신양명을 지향하는 일반적인 범주의 학업을 넘은, 지식체계에서 보이는 개념들의 탁월성과 이론의 미묘한 정합성들에 매료되어서 여기에 천착하는 태도가 과연 인생의 팔자에 도움이 되는가를 비판적으로 생각해 볼 수 있다. 한국 사회에서는 공부를 잘 하는 사람을 대단하다고 생각하는, 혹은 성공을 할 것이라고 여기는 분위기가 있는데, 그러나 이것은 사실 위에서 말한 일반적인 범주의 학업까지에만 해당되는 이야기가 아닐까 한다.

만약에 공부가 깊어져서 건전한 지식을 생산하면서 학술 장을 유지하고, 생산되는 지식을 사회에 공급하거나 사회와 견주어 보는 지식생산 노동에 이르게 되면, 공부가 깊어질수록 오히려 팔자에 도움이 되지 않으며, 사람들이 크게 관심을 갖지도 않고, 관심을 가지더라도 주로 그다지 좋게 보는 쪽은 아닌 것 같다. 결국 한국 사회는 공부라는 것의 수량화, 실용화 가능한 외피와 그로 인한 성취지위에 관심이 많을 뿐, 개념들을 치열하면서도 재미있게 부딪혀 보며 갈고닦는 작업으로서의 공부의 '내용' 혹은 '과정'으로 논의가 확장되는 순간 사람들의 관심은 사라지는 듯하다.

그런데 나처럼 내가 현실적으로 소화하기 어렵고 연구에도 도움이 되지 않는 지식들에 미련을 갖고 굳이 들여다 보려는 경향을 갖는 사람은, 이러한 지식 추구에의 무관심, 공부의 입신양명 도구화 경향으로부터도 분명히 배울 점이 있는 듯하다. 관심을 가질수록 오히려 시간만 과다하게 투입하면서 연구의 현장과 유리되는 경향이 생기므로, 그러지 말고 내가 능숙하게 다룰 수 있고 또한 그러기를 요구받는 도구들 내에서 보편적 독자가 재미있어할 만한 문제 설정을 해서 빨리빨리 풀어 내는 것이 중요한 덕목이라고 생각하는 것이다. 말하자면 지식추구 라는 가치에 지나치게 매몰되기보다는, 결국 현재의 내 status에서 부여받은 역할(주로 지식생산)을 하는 것인데 그 역할이 우연히도 사회 평균보다 지식추구와 조금 더 많이 관련되어 있을 뿐인 셈이다.

재밌었던 것은 가족들에게도 이러한 깨달음에 대해 이야기할 기회가 있었는데, 그건 원래 그런 건데 이제야 알았냐고, 15년째 나에게 똑같은 얘기를 했다고 하셨다. 공부뿐만 아니라 평소 생활에서의 문제해결 능력 면에서도, 본인이 감당하지 못할 거면서 어렵고 답답하고 오래걸리는 길을 가려는 경향이 있어서 늘 걱정을 했다고 하신다.

아무튼 일을 하는 데에 있어 내 이러한 경향을 적당히, 효율적으로 활용해서, 내가 다룰 수 있는 이론적 도구들의 범위를 넓혀 가면서도 내 연구라는 명확한 목적 하에 생산적으로 복무시킬 수 있다면 가장 좋을 것 같다.

Facebook에서 이 글 보기: 링크

비평형 협력의 열역학: 성능 개선과 이례적 응답의 근원

주말에 인턴 학생에게 제공할 겸 해서, 최근 구상 중인 연구의 research proposal을 열심히 썼다 (이 문단 밑에 첨부). 쓰고 나니까 내 명료하지 않았던 생각도 섬세하게 잘 정리가 되어서 한결 나았다. 프로포절의 요지는 통념의 물리학적 상식과 반대로 반응하는 이례적 응답(anomalous response)에 대한 것이다.

나는 이런 것들이 공통적으로 비평형 조건에서의 협력에 의해 가능한 유효(effective) 현상들이라고 보고, 그것을 지탱하는 열역학적 원리를 알아내고 싶은 것인데, 예컨대 어떤 유체 속에 물체가 잠겨 있으면 상식적으로 마찰에 의해 운동을 방해받아야 맞는데, 개별 입자 수준에서 에너지를 소모하면서 헤엄치는 능동 유체(active fluid)라면 그 속의 물체는 오히려 한번 시작한 운동이 더 빨라질 수 있다.

또한 세포골격을 걷는 분자 모터들에 동기화 항을 주면, 앞으로 밀었는데 오히려 뒤로 당겨져 오는 '음의 질량' (effective negative mass) 이라는 현상도 생길 수 있다. 이외에도 작용/반작용 법칙을 위배하는 non-reciprocal coupling, 그리고 점성인데도 에너지를 흩뜨리지 않는 odd viscosity, 탄성인데 독특한 방식으로 에너지를 되뱉는 odd elasticity 등이 있다.

그런데 이러한 이례적 응답들은 각각 따로 연구는 활발하게 되었고, 모두 다 비평형 때문일테지만, 이것들을 통합적인 관점에서 보는 것은 잘 없다. 또한 어떤 열역학적 원리 (즉 에너지출입과 비가역성) 에 의해 가능한지, 얼마만큼의 열역학적 비용이 드는지도 잘 연구된 게 없다.

그래서 내가 상상한 것은, 이러한 이례적 응답은 결국 어떤 응답계수의 부호가 +에서 -로 바뀌는 것이거나, 아니면 어떤 행렬 같은 것에 반대칭적 성분이 생기는 것이니까, specific한 시스템이 아니라 아주 일반적인 어떤 행렬같은것만 두고 그것들에 대해 확률열역학(stochastic thermodynamics)적 분석을 하면, 그 행렬을 특징짓는 어떤 양이 엔트로피 같은 열역학적 비용과 연관되어 써지지 않을까 싶었다. 그러면 여러가지 이례적 응답을 통합적으로 기술할수 있다.

그런데 다 쓰고 나서 마침 비평형 열역학의 기하학적 해석 관련해서 논문을 엄청 많이 쓴 교토대학의 Andrea Dechant 및 Shin-ichi Sasa 그룹이랑 도쿄대학의 Sosuke Ito 그룹에서 요즘 뭘 하고있는지 궁금해서 들어가 보았는데, Ito 그룹에서 내가 궁금하던 정확히 저런 것을, 그것도 아주 일반적으로 기술하는 논문을 지난달 말쯤에 아카이브에 올렸다 (arXiv preprint 링크: N Ohga, A Kolchinsky and S Ito, "Thermodynamic bound on the asymmetry of cross-correlations," arXiv preprint, arXiv:2303.13116.).

이 논문은 상관함수의 반대칭성의 정도가 엔트로피 소모량에 의해 한계지어진다는 것을 매우 일반적, 명시적으로 증명했는데, 물리학 분야에서 최고 저널 중에 하나인 Physical Review Letters (PRL) 타겟으로 쓴 것 같고, 워낙 내용이 좋아서 아마 PRL에 붙지 않을까 싶다. 또한 바로 5일쯤 전에도 같은 저자들에 의해 비슷한게 올라왔다. 이건 spectral 즉 고유값 관련 성질로 풀었다.

(230630 내용추가: 이 논문에 관하여 이번 6월에 진행된 국내 행사 <11th Workshop on Nonequilibrium Fluctuation Theorems>에서 내가 소개했던 발표 자료를 아래 첨부한다.

관련 Facebook post: 링크)

(230904 내용추가: 예상대로 이 논문은 확률열역학 분야의 많은 사람들에 의해 즉각적인 관심을 끌었고, PRL에 무려 Editor's suggestion으로 게재되었다. PRL에 게재된 논문 링크: N Ohga, A Kolchinsky and S Ito, "Thermodynamic bound on the asymmetry of cross-correlations," Phys. Rev. Lett. 131 (7), 077101 (2023).)

그렇다면 내가 할 수 있는 건 무엇인가? 일단 반대칭 성분이 등장하는 것이랑 (non-reciprocity 등), 어떤 응답계수의 부호가 +에서 -로 바뀌는 현상 (음의 질량 등)이 서로 통합될 수 있는지 없는지 판단해 보아야 한다. 만약 두가지가 서로 다른 것이라면 후자는 이번 Ito 그룹 논문에 의해 명시적으로 다뤄지지는 않은 것이므로, 이를 빠르게 다뤄볼수 있다. 만약 두가지가 서로 같은 것이라면 좀더 구체적인 개별 시스템 (내가 다루고있던 능동물질 등) 에 대해 적용해 볼 수 있겠다.

Facebook에서 이 글 보기: 링크

비평형 능동물질과 배트맨 리턴즈: When does locality help?

문화예술과 과학기술은 서로 영향을 주고받으며 발전한다. 특히 계산기술의 양적, 질적 발전은 영상매체에서의 생생한 그래픽 표현을 직·간접적으로 뒷받침해준다.

사실적이면서도 화려한 영상 효과 구현을 위해서는 적절한 수학적 모형화와 대량의 계산이 필요하다. 실제로 <반지의 제왕> 시리즈의 영상 효과를 담당한 회사 '웨타 디지털', 그리고 수식어가 필요 없는 애니메이션 회사 디즈니의 연구조직 '디즈니 리서치' 등에서는 일찍이 문화기술의 중요성을 인식하고 예술가들뿐만 아니라 로보틱스 연구자, 수학, 물리학 및 계산과학 전공자 등을 고용해 왔다.

이 글에서는 컴퓨터 그래픽스와 물리학의 관계에 대해서 재미있는 고전적 사례를 소개하고, 앞으로는 이들이 어떤 관계에 있게 될지, 그리고 꼭 관계가 있어야만 할지 등에 대해서 살짝 생각해 본다.

능동 물질과 배트맨 리턴즈

필자의 전공인 통계물리학은 수많은 입자가 상호작용하는 상황을 확률론을 도구 삼아서 기술하는 물리학의 한 분야이다. 일(work), 열(heat) 등 에너지의 흐름과 그 비가역성에 대한 학문인 열역학을 볼쯔만 등이 현대적으로 정당화하는 과정에서 등장하였다. 이 분야에서 2010년대 이후로 활발한 관심을 끌고 있는 키워드는 바로 능동 물질(active matter) 이다.

능동물질이란, 입자 간의 수동적인 충돌에 의해서 움직일 뿐인 보통의 액체 및 기체 등과 달리, 개별 구성 입자들이 스스로 연료를 소모하면서 적극적으로 헤엄치는 물질을 말한다. 대표적으로 생물체들의 세포 내에서 에너지를 소모하면서 움직이는 여러가지 분자크기 기계들, 혹은 움직이는 세포 그 자체들, 그리고 어떤 추진 장치를 갖게끔 화학적으로 특별히 합성된 콜로이드 물질 등이 있다.

이러한 능동물질은 밖에서 공급되는 유용한 에너지를 꾸준히 소모하면서 (열로 전환하면서, 즉 우주의 엔트로피를 증가시키면서) 평형으로부터 떨어져 있으므로, 비평형 시스템의 한 예시이다. 이러한 능동물질 연구의 효시로 꼽히는 연구는, 새들이 몰려다니는 집단적 움직임을 나타내기 위해 1995년에 제안된 비첵(Vicsek) 모델이다. 각각의 입자는 자체적인 방향성을 가지고 돌아다니는데, 자기 자신의 '시야 범위' 내에 있는 입자들을 보고, 그 주변 입자들의 평균 방향으로 정렬하게 된다.

그런데 재미있게도 컴퓨터 그래픽 연구자인 C. Reynolds가, 이미 거의 동일한 모델을 Boids라는 이름으로 1986년에 제안했다고 한다. 그리고 이 Boids 모델은 Reynolds가 엔지니어로 참여한 1992년도 명작 영화 <배트맨 리턴즈> (배트맨 2) 에도 적용되어, 박쥐들의 집단적 움직임을 사실적으로 표현해 주었고 이로써 영화에 음산한 느낌을 더해주었다 (박쥐는 새가 아니지만 아무튼...).

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.12.010501

(위 링크: 능동물질 분야의 대가들이 저술하여 Physical Review X에 게재한 총설논문 (접근 권한 필요). 논문 본문의 Introduction 부분에 배트맨 리턴즈에 대한 언급이 존재한다 (Boids가 물리학자들에게 여기서 처음 재발견된 것은 아니다). Bowick, Fakhri, Marchetti and Ramaswamy, Physical Review X, 12 (2022).)

배트맨 리턴즈가 포함된 이 영화 시리즈는, 현재 우리가 배트맨 실사영화 하면 떠올리는 어둡고 진지한 분위기의 전형을 확립한 작품들이다. 배트맨이라는 매력적인 캐릭터, 팀 버튼 감독 특유의 분위기와 함께, 이러한 수학적 모델링 아이디어와 계산 기술력의 진보 또한 영화 연출의 완성도에 일정부분 역할을 했다고 하면 무리한 추측일까.

국소성 (locality) 을 둘러싼 생각

아무튼 통계 물리학자들과 컴퓨터그래픽 연구자들은 서로의 분야에서 거의 비슷한 모델이 있음을 꽤나 오랫동안 서로 몰랐던 모양이다. 따라서 이를 이론과학과 문화기술의 직접적 상호작용이라고 보기엔 애매하다. 그러나 각 분야의 관심사 및 계산 기술의 발전에 의해 '나올 때가 되어서' 서로 비슷한 시기에 나온, 말하자면 예정된 우연이라고 할 수 있겠다.

그런데 이러한 모델은 질량, 운동량, 에너지 등의 교환이 시공간적으로 서로 잇따라 (즉 '국소성 (locality)'을 만족시키면서) 전달되는, 전통적인 물리학에서 좋아하는 역학적 상호작용이 아니다. 메커니즘은 모르지만 아무튼 주변을 보고 그에 따라 정렬된다고 거시적인 규칙을 정해 준 것 뿐이다.

(예컨대 새가 주변의 다른 개체들을 눈으로 보고 방향을 바꾸는 것이라고 치자. 이것을 역학적으로 제대로 모델링하려면, 주변의 개체들에서 반사된 빛 입자가 새의 눈에 들어오고, 이것이 시각 세포를 자극하고, 그 신호가 신경을 통해 뇌로 들어가 어떤 판단을 일으키고, 그러한 판단에 따라 날개에 어떤 운동이 지시되어 비행 방향이 조절되는 것을 일일이 고려해야 한다. 이러한 과정을 최대한 사실적으로 표현하겠다고 일일이 역학적으로 모델링하여 컴퓨터로 재현한다는 것은, 설령 그렇게 하더라도 별다른 실익이 없는 코믹한 일이다.)

물리학에서는 이러한 것을 좋아하지 않는다. 대표적으로 중력은 서로 멀리 떨어져 있는 두 천체 사이에 작용하며, 서로 멀리 떨어져 있는 두 전하 (+ 혹은 -) 사이에는 전자기력이 작용하는데 물리학자들은 이러한 원격 작용이 만족스럽지 않았다. 따라서 물리학자들은 두 천체, 혹은 두 전하 사이의 모든 공간을 중력장, 혹은 전자기장을 비롯한 장 (field) 이 채우고 있다고 생각하였고, 입자간의 상호작용은 장의 존재, 혹은 장의 변화를 통해 매개된다. 이로써 원격 상호작용으로 여겨지던 이러한 기본 힘들은, 장을 통한 국소적인 상호작용의 연쇄로 새롭게 이해되었다. 이러한 접근은 인류 과학사에서 손꼽힐 만큼 성공적이어서, 장론 (field theory) 은 거의 모든 현대 물리학 이론의 표준적, 통합적 기술 방법으로 되고 있다. 또한 이러한 장들은, 단순히 이론적인 도구가 아니라 근본적인 물리학적 실재(實在)처럼 받아들여지는 느낌이다 (전자기파, 중력파와 같은 파동의 검출이 결정적이다).

그러나 이미 썼듯이 비첵모델은 매우 거시적인 수준의 모형이고, 상호작용을 매개하는 구체적인 국소적 상호작용이 모형화되어 있지 않다. 또한 비첵 모델은 유효적 (effective), 혹은 현상론적 (phenomenological) 기술일 뿐, 위에 쓴 능동물질의 정의에도 있는 에너지 출입에 대한 고려, 즉 '열역학이 들어가 있지 않다. 따라서 평형으로부터 얼마나 멀리 떨어져서 작동하는지 체계적인 분석이 어렵다. 이처럼 거시적인 새들 (혹은 박쥐들, 물고기들 등) 의 집단 운동은 도리어 '너무나 극명하게' 평형으로부터 멀다.

상전이와 보편성

위와 같은 점들을 고려하면, 비첵 모델은 에너지 출입에 대한 적절한 고려도 없고, 국소적인 상호작용의 연쇄로 이해될수도 없으므로, 물리학이라기보다는 그냥 입자기반 시뮬레이션 같은 것일 뿐이라는 의문을 가질 수가 있다. 대체 왜 물리학으로 분류될까? 실제로 필자가 주변에서 많이 받는 질문인데, 이에 대한 답은 간단치 않다.

일단 일종의 제도론적인 답을 하자면, 그냥 물리학자들이 주로 했기 때문에 그런 것 같다. 사실 이것이 제일 정확한 답일 수 있다. 그러나, 이러한 사회구성주의적 답변에서 그치지 말고 규범적 정당화를 시도해 볼 필요도 있다.

내 생각에 이런 종류의 모델들이 물리학으로 분류될 수 있는 이유는 바로 상전이 (phase transition) 의 존재 때문에 그렇다. 상전이란, 온도에 따라 액체가 기체로 변하는 것처럼, 파라미터의 변화에 따라 물질의 어떤 특성이 점진적으로 변하지 않고 급격하게 변하는 것이다.

이러한 상전이가 왜 그렇게 이론물리학자들이 특별하게 여기는 현상인지, 점진적인 변화와는 근본적으로 어떻게 다른지도 다루고 싶으나, 물리학자들이 좋아하는 주제인 대칭성, 보편성 등과 매우 깊은 관련이 있다고 해 두고 그 세부는 지면상 생략한다. 결국 이러한 다소 인위적이고 현상론적인 모델도, 상전이를 보여준 덕분에 물리학자들의 활발한 관심 대상이 될 수 있었던 것이다.

비첵 모델은 새들의 밀도가 낮거나 노이즈가 클 때에는 무질서한 운동을 보이는데, 밀도가 높거나 노이즈가 작아지면 위에서 이야기한, 다같이 비슷한 방향으로 몰려다니는 large-scale 집단운동을 보여주게 된다 (여러 동물들에서 이러한 현상이 있는데, 새들의 경우에는 flocking이라고 불리고, 물고기는 schooling이라고 불리며, 보다 넓은 용어로는 swarming이라고 부르는 듯하다). 이론적으로, 이러한 몰려다니는 상태는 평형에서는 불가능한, 철저히 비평형적인 현상이므로 흥미롭다. 그리고 이러한 변화는 서서히 일어나는 것이 아니라, 특정 조건 주변에서 급격하게 일어난다.

이러한 상전이 특성 탓에 비첵 모델은 물리학자들의 상당한 관심을 모으게 되었고, 현재 최초 논문 1개만 해도 7600회 이상 인용되었다. 또한 커다란 개체 스케일이 아니라 세포 스케일에서 일어나는 여러가지 집단 현상에 대해서도 이와 비슷한 틀로 분석을 하는 연구들이 생겨나면서 능동물질 분야가 본격적으로 시작되었다. 이렇게 능동물질이라는 하나의 인기있는 토픽으로 정리가 된 것은 보통 2010년쯤으로 본다.

그리고 정말로 '물질'이라고 불릴 만한, 분자크기 즉 나노~마이크로미터 스케일의 응집물질들 중에서도 에너지를 꾸준히 소모하며 헤엄치면서, 평형에서는 관찰되지 않는 흥미로운 집단현상을 보이는 계들이 많이 발견되었고, 능동물질이라는 틀에서 통합적으로 연구되게 되었다. 이제 이들은 확률과 결합한 현대적 열역학의 체제에서, 에너지를 얼만큼 소모하면서 평형으로부터 얼만큼 떨어져 있는지의 문제까지 포함하여 정량적으로 잘 기술되고 있다.

Concluding remarks: 그래픽스와 물리학의 관계 혹은 무관계

최근에 모종의 계기로 그래픽스와 물리학의 관계에 대해 생각을 많이 해 보고 있었는데, 마침 그래픽스와 능동물질 물리학의 이러한 오래된 연결을 알게 되어 꽤나 신나는 심정이다. 이러한 그래픽스와 물리학의 관계가 앞으로는 어떻게 전개될지 다소 추상적으로나마 생각해보았다.

그래픽스는 기본적으로 꼭 진실성을 추구하는 것이 아니라 예술적인 장면을 연출하기 위한 것이다 (진실성을 추구하면 그때부터는 문화기술이라기보다는 과학의 영역이며, 주로 그래픽스라기보다는 시뮬레이션이라고 불린다). 이것을 반드시 물리학에 기반해서 할 필요는 당연히 없다. 그러나 진실성과 별개로, 시청자를 설득할 만한 사실성은 대부분 필요하다. 사실적 표현을 하기 위해, 혹은 조금 덜 사실적이더라도 예술성을 기하기 위해 물리학과 그래픽스가 서로 영감을 주고받고, 더 나아가 물리학적 모형 및 방법론을 직접적으로 활용 가능한 지점은 꽤 많아 보인다.

현대 이론과학으로서 좁은 의미의 물리학뿐 아니라, 시간에 따른 자연현상의 수학적 기술이라는 좀더 넓은 의미의 물리학적 (혹은 동역학적) 방법론이라면 더욱 명백하게 그렇다. 어떤 경우엔 국소적인 상호작용을 물리학적 정확성에 집착하지 않아야 더 효율적으로 멋진 장면을 만들어낼 수도 있을 것이고, 또 어떤 경우에는 물리학 지식의 도움을 받아 쉽게 멋진 장면을 만들 수도 있을 것이다.

특히 최근에는 딥러닝 분야의 발전에 따라, 커다란 인공 신경망의 높은 일반화 성능, 그리고 특징추출 (feature extraction) 및 차원축소 (dimension reduction) 능력에 의해 동역학계 이론, 로보틱스, 컴퓨터비전, 컴퓨터그래픽스 등 여러 분야가 서로 glue되고 경계가 흐려지면서, 이러한 관심사는 더욱 여러 방향으로 구체적으로 전개되고 있다.

위에서는 과학분야로서의 시뮬레이션의 경우 진실성을 기하기 위해, 국소적 상호작용을 얄짤없이 일일이 재현해야 하는 것처럼 말했다. 물론 거의 모든 경우에는 맞다. 그러나 요새는 심지어 시뮬레이션의 경우에도 딥러닝의 도움을 받아서, 통계적으로 희귀하지만 꼭 보아야 하는 이벤트, 혹은 강한 비선형 효과 등에 대해 적은 계산량만으로도 올바른 결과를 내겠다는 연구가 많다. 그 결과의 진실성을 어떻게 확신할지는 기술적으로도, 과학철학적으로도 어려운 문제일테다.

아무튼 그래픽스에서 이러한 딥러닝 방법은 국소적 상호작용을 일일이 재현하지 않고 사실성에 기여하는 핵심적인 윤곽만을 효과적으로 추출해서, 계산량을 줄이면서도 물리학 지식의 도움을 효과적으로 받게 할 것으로 기대된다 (또한 이는 세상에 존재하는 거시적 현상들에서 뭐가 중요하며 어떻게 돌아가는지에 대한 미술가적인 이해를 돋우는, 일종의 '과학 아닌 과학' 역할을 해 줄 수 있을 것이라고 본다).

결론짓자면 많은 계산량으로 악명높은 그래픽스 분야가 때로는 물리학적 정확성에 대한 추구를 폐기하면서, 때로는 반대로 물리학으로부터 도움을 받으면서 더욱 발전하여 사람들에게 문화적인 즐거움을 주기를 바란다. 이러한 적절한 판단 필요성의 중심에는, 결국 한편으로는 정확한 수학적 모형화를 돕고, 한편으로는 계산량을 더욱 증가시키는 국소성의 양면이 있다.

Alookso에서 이 글 보기: https://alook.so/posts/LKtaxGk (이론물리학 그리고 배트맨 리턴즈: When does locality help?)

Facebook에서 이 글 보기: 링크