[논문 소개] Phase separation of chemokinetic active particles

My second paper, "Phase separation of chemokinetic active particles," is now published in Communications Physics.

Active matter refers to systems composed of constituents (active particles) that consume energy and exhibit motility at the individual level. Examples include swarming bacteria, synthetic colloidal particles with catalytic coating on one side, or molecular motors that move along scattered cytoskeletal tracks.

Because these systems generate persistent fluxes at the microscopic level, they are inherently out of equilibrium and display collective phenomena that are impossible in equilibrium materials. For instance, in the Vicsek model (1995), which was proposed to model flocking behavior and initiated the field of active matter, globally ordered phases emerge even in two dimensions. This type of long-range order is forbidden in equilibrium systems by the Mermin–Wagner theorem.

Even in the absence of alignment interactions, active systems can exhibit non-equilibrium phase separation due to clustering induced by purely repulsive interactions. A well-known example is Motility-Induced Phase Separation (MIPS), where regions of low and high particle density spontaneously separate. This is often likened to bumper cars that collide and cannot escape from the jammed regions.

In most theoretical models, the motility of active particles is treated as a fixed system parameter, typically as a constant self-propulsion speed. However, in reality, such motility must be sustained by some source of energy — some form of fuel, which is subject to local consumption and finite-rate diffusion. This naturally leads to the possibility of local fuel depletion, which reduces the particles' speed in that region. In this work, we ask: what happens when the motility of active particles isn’t just a fixed system parameter, but a dynamic quantity that depends on locally consumed chemicals?

This effect can be considered as a minimal scenario of 'chemokinesis' — the lesser-investigated cousin of chemotaxis — where particles change their 'speed' in response to chemical concentration, rather than their 'direction' in response to chemical gradient.

Indeed, there can be more 'intelligent' scenario of chemokinesis, where a cell intentionally adjusts its speed (e.g., through cellular signaling mechanism) depending on the concentration of a certain chemical species. Our theory does not distinguish those two: they might be differ in the spatiotemporal scales of chemical consumption and diffusion, which can be covered by our theory.

Instead, we explore two distinct scenarios of chemical consumption: the Basal Metabolic Regime (BMR) and the Active Metabolic Regime (AMR). In both cases, we assume that the local speed of particles is proportional to the local concentration of chemical fuel. However, the rate at which the fuel is consumed differs between the two regimes, especially when particles become trapped in clusters.

In the Basal Metabolic Regime (BMR) which is our first scenario of chemical consumption, where chemical is consumed even when particles are stuck each other, leading to stronger depletion inside the cluster and enhanced cluster growth. In this regime, even immobile particles continue to deplete fuel, leading to deeply quenched interiors of clusters and promoting further aggregation. In effect, this enhances MIPS-like clustering.

However, in the Active Metabolic Regime (AMR), chemical is consumed only when the active particles actually experience their displacement, i.e., when they truly move. In this case, the local rate of consumption depends not only on particle density but also on actual particle velocity. Therefore, within dense clusters where mobility is suppressed, the fuel is saved. Therefore, when a chance arises, particles near the boundary can escape more easily due to higher available fuel.

This suppresses the clustering and gives rise to intriguing oscillatory and motile patterns for the AMR— a fuel–mobility feedback that is sensitive to the spatiotemporal scale of diffusion. Small clusters can become stabilized and static, or they can continually appear, disappear, or move around, depending on whether the system allows the fuel depletion to be replenished in time. If not, the imbalance persists and drives dynamic restructuring.

We first demonstrated these effects using particle-based simulations, and then derived a coarse-grained continuum model for the particle density via standard coarse-graining techniques. The linear stability analysis of the continuum theory (through the analysis on the signs of system eigenvalues) confirmed similar predictions observed in simulations.

The continuum framework, free from the noise caused by discrete particle movements (going into and out of the clusters), allowed for a cleaner observation of collective behaviors. To ensure these effects were not artifacts of specific inter-particle forces, we also ran simulations with an alternative model where interactions were governed by quorum sensing—particles reduce their speed in response to high local density rather than direct mechanical repulsion. These simulations produced phase diagrams qualitatively consistent with theoretical expectations.

Where my first paper focused on the flow of 'energy' in active systems, this work sheds light on the flow of 'material' which diffuses through space and unevenly consumed by the particles. In contrast to our first study, which assumed strict chemostatting (uniform global fuel supply) to explore the thermodynamics of energy injection, the present work foregrounds the materiality of the fuel, emphasizing how its local depletion and limited diffusivity affect system behavior. More broadly speaking, this study reveals how uneven resource availability, and the feedback from the active agents, shapes collective behavior in nonequilibrium systems.

This project is a collaboration with Euijoon Kwon, whose sharp modeling and simulation insights were central to its publication. I am pleased that this work has found its place in Communications Physics, a fully open-access journal launched in 2018.

See this post on LinkedIn: link

See this post on Facebook: link

(국문)

제 두번째 논문인 "Phase separation of chemokinetic active particles"(화학운동성 능동 입자들의 상분리)가 Communications Physics에 출판되었습니다.

능동 물질이란 개별 구성요소의 수준에서 에너지를 소모하고 운동성을 가지는 일군의 물질들로, 헤엄치는 박테리아의 군집, 한쪽 면에만 촉매가 칠해진 인공 콜로이드 입자들의 모임, 흩뿌려진 세포 골격 위를 운동하는 분자 크기 모터 (molecular motor) 등이 그 예시입니다.

이들은 개별 입자 수준에서 흐름을 형성하여 평형으로부터 벗어나 있으므로, 일반적인 평형 물질에서는 불가능한 집단현상을 나타냅니다. 예를 들어서 새들의 몰려다니는 운동(flocking)을 모사하기 위해 제안되었으며 능동물질 분야의 효시가 된 Vicsek model (1995)에서는 2차원에서도 전역적으로 정렬된 상이 나타나는데, 이는 평형 상태의 물질에서는 Mermin-Wagner theorem에 의해 금지되는 종류의 질서입니다.

또한 정렬효과가 없을 때에도, 입자들 간에 척력만 작용하는데도 클러스터가 생겨서 저밀도 영역과 고밀도 영역이 나누어지는 '운동성에 의한 상분리(Motility-induced Phase Separation, MIPS)'와 같은 능동물질 고유의 현상이 나타납니다. 이 현상은 흔히 범퍼카들이 충돌한 상태에서 서로 빠져나가지 못하는 것에 비유됩니다.

능동물질에서 운동성의 크기(즉 능동 입자의 디폴트 속력 값)는 흔히 상수로 주어진 것으로 모델링되나, 실제로는 그러한 운동성을 꾸준히 만들어낼 수 있는 어떤 원인, 즉 연료가 있을 것입니다. 연료의 확산 속도는 유한하므로, 어떤 지점 주변에서 연료가 국소적으로 많이 소모되어 사라진다면 그 지점 근처에서는 능동입자들의 속력이 느려질 것입니다. 즉, 각 지점에서 대략적으로 연료 농도와 입자들의 자체 추진 속력이 비례한다고 생각할 수 있습니다.

이를 미니멀한 형태의 화학운동성 (chemokinesis) 으로 생각할 수 있습니다. 물론 이렇게 연료의 국소적 고갈에 의한 자연스러운 효과 외에도, 박테리아의 경우 세포의 신호 처리 작용에 의해 특정 화학물질 농도를 감지하여 속력을 바꾸는 현상도 가능할 것입니다. 저희의 이론은 기본적으로는 이 두 가지를 구분하지 않으며 (물론 현상의 스케일 차이가 있을 수 있습니다) 이 글에서는 섞어서 사용하겠습니다.

화학물질의 농도 '기울기'에 반응하여 입자들의 운동 '방향'이 바뀌는 화학주성(주화성, chemotaxis)은 능동물질 분야에서 최근에 활발히 연구되었습니다. 입자의 자체추진 속력이 상수일때 나타나는 기본적인 MIPS와 비교할때, 단일 클러스터가 성장하는 대신에 유한한 크기로 다수의 클러스터가 유지되고, 심지어 진동(생성, 소멸을 특정 시간 스케일에서 반복)하거나 특정 방향으로 운동(motile band)하는 등 흥미로운 현상들이 나타납니다. 그러나 화학물질의 농도 자체에 따라 입자들의 운동 '속력'이 바뀌는 화학운동성의 효과는 저희가 아는 한 그동안 이론적으로 연구되지 않았습니다.

저희는 화학운동성을 직관적으로 비교적 쉽게 이해 가능한 두 가지(BMR/AMR)의 시나리오로 압축하였습니다. 먼저 화학물질의 농도에 자체추진 속력이 비례하는 건 공통적이지만, 입자들이 클러스터 안에서 서로 뭉쳐서 실질적으로 움직이지 못할 때 연료 소모의 방식에 차이점이 있습니다.

먼저 Basal metabolic regime (BMR)의 경우는, 클러스터 내부에서 움직이지 못할 때에도 화학물질이 계속 소모됩니다. 이러한 상황에서는 클러스터 내부에 연료 고갈이 심해져서 입자들이 더 움직이지 못하게 되므로, 디폴트 MIPS에 비해 클러스터가 더 효과적으로 성장하게 됩니다.

반면 Active metabolic regime (AMR)에서는 입자들이 실질적으로 움직일 때에만 화학물질이 소모됩니다. 즉, 국소적인 연료 소모율이 입자들의 밀도뿐 아니라 그 지점 근처의 입자들의 실제 속도에도 비례하게 됩니다. 따라서 클러스터 내부에서 입자들이 어차피 잘 움직이지 못하는 상황에서는 연료가 save되게 되며, 기회가 되면 클러스터 표면 근처에서 입자들이 빠른 속력으로 빠져나갈 수 있어, 클러스터 성장이 억제됩니다.

더욱 흥미롭게도, AMR에서는 연료 확산의 시공간적 눈금과 연료 소모율을 잘 선택함으로써, 작은 클러스터들이 안정화되어 가만히 있게 할 수도 있는 반면, 끊임없이 생성/소멸되거나 움직이게 할 수도 있습니다. 이는 입자의 연료소모를 연료의 확산 속도가 충분히 빨리 따라가느냐, 그렇지 못하느냐와 관련되어 있으며, 후자의 경우 이 불일치가 지속적으로 해소되지 못하여 클러스터들의 운동으로 이어지게 됩니다.

먼저 입자 기반의 시뮬레이션으로 이러한 현상들을 확인한 뒤, 거칠게 묶기 (coarse-graining) 를 통해 입자들의 밀도에 대한 연속체 관점의 방정식을 얻어, 시뮬레이션과 이론 양쪽 (이론의 경우 고유값의 부호 분석) 에서 유사한 결과를 확인했습니다.

특히 연속체에서는 개별 입자의 활발한 클러스터 출입에 따른 노이즈의 효과가 없으므로 여러 집단현상의 가능성을 훨씬 깨끗하게 관찰할 수 있었습니다. 이러한 현상들을 입자기반에서도 더 깨끗하게 보기 위해서, 입자들이 역학적 척력이 아닌 quorum sensing (주변에 다른 입자들이 많으면 속력을 줄임) 을 통해 상호작용하는 모형에서도 시뮬레이션하여, 이론적으로 예상되는 phase diagram과 유사한 결과를 관찰했습니다.

이 연구는 제 첫 번째 논문의 두 시나리오 (stuck되어야 연료 소모 / 움직여야 연료 소모) 를 조금 더 사실적으로 만들어서, 집단현상에 주는 영향까지 관찰해 보자는 문제의식에서 출발하였습니다. 첫 번째 논문은 능동물질계에 관여된 '에너지의 흐름'으로부터 열역학을 기술하는 데 집중하여 전 공간에서 연료를 strict하게 chemostatted한 반면, 이번 연구는 확산되거나 국소적으로 소모되는 연료의 물질성을 보다 구체적으로 고려하므로, '물질의 흐름'이 비평형계에 주는 효과를 연구한 것으로 생각할 수 있습니다. 더 확장하자면, 자원의 불균일한 분포에 가해지는 음성/양성 피드백이 시스템의 집단현상에 미치는 영향을 연구했다고 생각할 수 있습니다.

이번 연구의 진행은 함께 연구하는 권의준 학생의 탁월한 이론적 모형화 및 풀이, 전산 시뮬레이션에 핵심적인 도움을 받았습니다. 2018년에 만들어진 오픈액세스 저널 Communications Physics에 게재하게 된 것을 기쁘게 생각합니다.

- 끝 -

[presentation material] Statistical physics approaches to deep learning: dynamical and structural perspectives

Recently I joined an interdisciplinary study group called the 'TMI group', which consists of students from various backgrounds including AI, neuroscience, physics, education studies and philosophy. This group is one of the most enthusiastic study groups I have ever attended, providing actually productive discussions and critical issues.

Last week, I hosted a zoom seminar for this group titled 'Statistical-physics approaches to deep learning: dynamical and structural perspectives (DL x SP)'. I aimed to convey that deep learning can be understood as a 'non-linear many-body system with non-deterministic dynamics', therefore being a legitimate topic of SP.

Even within SP, there are many incommensurable views for the analysis of DL. Some are indeed useful but relatively phenomenological, while others fundamentally tackle the structural aspects of DNNs. Recently, I believe 'disorder' is the most central concept of the SP view of DL.

NNs are highly complex, since they are non-linear combinations of functions with vastly different weights. But they are distinguishable from completely random fields since they learn something and form good representations. They are indeed complex, but they are somehow 'structured' and (especially thanks to the fact that they involves super high-dimensional space) the situation is not so bad.

This subtle regime is effectively tackled by theories developed for disordered systems including replica method. These calculations have been successfully connected to actually important concepts in DL community, such as lazy (kernel) learning versus feature learning, flat minima, linear mode connectivity (for example, see B. L. Annesi et al., "Star-shaped space of solutions of the spherical negative perceptron," Physical Review Letters 131 (2023)).

In fact, this perspective traces back to the ancient era of deep learning. Even at the 1980s and 90s, statistical physicists have focused on analyzing the phase behavior during the learning of multi-layer NNs (including quite practical issues such as teacher-student scenario). The Nobel Prize awarded last year to J. J. Hopfield was a controversial topic among physicists. But one lesser-known fact is that when G. Parisi won the prize in 2021, the citation already referred to AI theory—specifically in relation to his theories on glassy disordered systems and its relevance to DL.

Of course, as one of the TMI group members pointed out, to make these more practically applicable, they must be further refined by scholars in statistical learning theory, and should be integrated with the fields of computational theory and optimization. For example, one may see 'dynamical mean-field theory' approaches by T. Suzuki group (U Tokyo) and how they rigorously explain feature learning and in-context learning.

Next month, I will host a focus review session introducing high-dimensional random geometry (which also employs SP methods for disordered systems) in the context of modern deep learning. It begins with a simple and general geometric problem—separating labeled points (or ellipsoids) with a hyperplane—but ultimately explains the surprising success of modern AI, including few-shot learning and in-context learning.

For the former, see B. Sorscher, S. Ganguli and H Sompolinsky, "Neural representation geometry underlies few-shot concept learning," Prog. Natl. Acad. Sci. 119 (2022). For the latter, see A. J. Wakhloo, T. J. Sussman and SueYeon Chung, "Linear classification of neural manifolds with correlated variability," Phys. Rev. Lett. 131 (2023) and A. Kirsanov, C. N. Chou, Kyunghyun Cho and SueYeon Chung, "The geometry of prompting: Unveiling distinct mechanisms of task adaptation in language models," arXiv:2502.08009 (2025).

On a lighter note, in a KIAS lecture series planned to held at early August this year, Prof. SueYeon Chung is invited as a lecturer. I am looking forward the lecture since it is first time for me to attend Prof. Chung's lecture in-person.

See this post at LinkedIn: link

See this post at Facebook (Korean): link

Presentation Material

 

(국문)

몇 달 전 TMI group이라는 다학제적 모임에 조인하게 되었습니다. AI, 신경과학, 물리학, 교육학, 철학 등 여러 지적 배경의 대학원생들이 참여하는데요, 모임장님이 잘 리드하시는 덕분에 모임의 응집력도 꾸준히 유지되고, 다학제적 모임임에도 느슨한 교류를 넘어 상당히 구체적인 이론적 쟁점에 대한 논의들도 오가는 편이라서 많이 배워 가고 있습니다. 분석철학에서의 중국어 방 문제, 기존 언어학에서의 형식주의적 접근과 LLM의 통계적 해법의 화해 가능성, 신경과학의 자유에너지 원리 등에 대해 논문들을 바탕으로 개괄하고 토의하고 있습니다.

지난주 제 발표 순서에서는 '딥러닝에 대한 통계물리적 접근: 동역학적 및 구조적 관점(DL x SP)'라는 제목으로 세미나를 진행했습니다. 딥러닝이란 비선형성을 갖고 확률적인 동역학을 바탕으로 고차원 표현들을 형성하는 다체계이며, 따라서 통계역학의 적법한 주제가 되어왔음을 전달하고자 했습니다.

현대 딥러닝은 굉장히 많은 노하우들이 접목되어 탄생하였고 그만큼 다양한 관점에서 그 원리가 분석될 수 있습니다. 심지어 통계물리학 안에서도 딥러닝을 보는 여러 가지 관점들이 있고, 그들은 서로 다른 층위에 있으므로 단일한 픽쳐로 잘 합쳐지기가 어렵습니다. 그들 중 일부는 물론 쓸모있지만 비교적 현상론적인 반면, 다른 일부는 심층신경망의 구조적 특징을 꽤 근본적으로 건드립니다. 최근에 저는 'disorder'(마치 glassy system 즉 유리와 같은)가 딥러닝에 대한 통계물리적 관점에서 가장 중심적인 개념이라고 생각하고 있습니다.

수많은 서로 다른 가중치들이 비선형적으로 연결된 심층신경망은 지극히 복잡하지만, 그것이 무언가를 학습해서 좋은 표현을 형성하는 한 완전한 무작위 장과는 구분될 수도 있습니다. 복잡하지만, 분명히 어떤 식으로든 구조화되어 있고 (특히 차원이 너무나 높은 덕분에) 생각보다 상황이 좋을 수도 있다는 것입니다.

Replica method를 비롯한 무질서계에 대한 통계역학 이론들을 이러한 미묘하고 중간적인 영역에 적합하게 적용하여, 딥러닝 커뮤니티에서 실질적으로 중요한 여러 개념들, 예컨대 lazy (kernel) learning vs feature learning, flat minima, linear mode connectivity 등과 우아하게 연관지을 수 있습니다 (예시: B. L. Annesi et al., "Star-shaped space of solutions of the spherical negative perceptron," Physical Review Letters 131 (2023)).

사실 이러한 무질서계 관점은 딥러닝 초창기에 그 기원을 찾을 수 있습니다. 8-90년대에 물리학자들은 이미 다층 신경망의 패턴학습과 상전이를 분석하는 연구를 다수 진행했고 이는 때때로 현대 기준으로 보아도 상당히 프랙티컬한 주제(이를테면 전이학습에서의 teacher-student 시나리오)에 대한 관심으로 이어졌습니다.

작년 J. J. Hopfield의 노벨물리학상 수상은 세간에 화제였을뿐 아니라 물리학자들 사이에서 꽤나 논란이었는데요, 사람들이 잘 모르는 사실은 G. Parisi가 2021년에 물리학상을 수상했을 때에도 시상 취지 중 하나에 이미 머신러닝에의 이론적 기여가 명시적으로 포함되어 있었다는 점입니다. 이는 Parisi가 무질서계 해석을 위해 제안한 replica 방법이, 유리를 닮은 계 중에서도 특히 딥러닝을 설명하기에 유용했기 때문입니다.

물론, TMI group의 멤버께서 올바르게 지적했듯이, 이러한 통계역학적 관점이 흥미로운 설명을 넘어 실질적인 쟁점과 새로운 지식을 제공하기 위해서는 statistical learning theory 등을 비롯한 보다 수학에 가까운 분야의 이론가들의 참여를 통해 더욱 rigor를 갖추고, 계산이론 및 최적화 등과 관련지어질 필요도 있겠습니다. 최근에 dynamical mean field theory 쪽이 이러한 방향으로 상당한 진전을 보면서 feature learning, in-context learning 등의 설명에 이르고 있는데 (대표적으로 도쿄대학 Taiji Suzuki 그룹), 여기에 disorder 및 고차원과 같은 딥러닝의 특징이 얼마나 반영될 수 있는지 (혹은 그럴 필요가 없는지)는 저도 더 공부해보아야 할 것 같습니다.

다음달의 focus review에서는, 개괄적이었던 이번 세미나에서 꾸준히 시사되었으나 구체적으로 다뤄지지는 않은 '고차원'의 이점을 소개할 계획입니다. 위에도 썼듯 딥러닝의 성공은 무질서와 고차원 사이의 미묘함에 있다고 보기 때문입니다. 고차원 무작위 기하학을 바탕으로 딥러닝의 성능 척도를 성공적으로 예측하는 통계역학적 이론들을 다루고자 합니다.

이들은 매우 간단하고 일반적인 기하 문제 (색깔이 칠해진 채로 랜덤하게 흩뿌려진 점들 혹은 타원체들을 단 하나의 평면으로 올바르게 분리할 수 있는지 여부, 혹은 그럴 확률)에서 출발하여, few-shot learning, 그리고 prompt를 통한 in-context learning 등 현대 AI의 놀라운 현상들까지 기하적으로 잘 설명해냅니다.

전자에 대한 것은 B. Sorscher, S. Ganguli and H Sompolinsky, "Neural representation geometry underlies few-shot concept learning," Prog. Natl. Acad. Sci. 119 (2022), 후자에 대한 것은 A. J. Wakhloo, T. J. Sussman and SueYeon Chung, "Linear classification of neural manifolds with correlated variability," Phys. Rev. Lett. 131 (2023) 및 A. Kirsanov, C. N. Chou, Kyunghyun Cho and SueYeon Chung, "The geometry of prompting: Unveiling distinct mechanisms of task adaptation in language models," arXiv:2502.08009 (2025) 등이 그 예시가 되겠습니다.

여담이지만 8월 초에 저도 참석하기로 한 고등과학원 lecture series에 정수연 교수님께서 강연자로 오시게 되었는데, 직접 말씀 들어 보는 것은 처음이라 매우 기대가 됩니다.

- 끝 -