연구 단계에서 논문 추천 받을 때라면 몰라도, 연구 결과를 논문으로 작성하는 단계에서는 내 연구와 관련이 되는 일부라도 직접 정확하게 읽고 cite 해야 하는 것 아닌가 싶다. 이런 생각이 드는 걸 보면 난 아무리 AI 시대를 재미있어한다고는 하지만 결국은 텍스트에 대한 고전적 개념을 매우 중요시하는 인간인 듯. 나아가서 앞으로는 자동화할 수 있는 읽기, 쓰기 및 계산도 '굳이 사람의 능력으로 해 보며' 인간의 그런 능력을 유지하는 것이 학자 집단의 역할이 될 수도 있다고 생각한다. 나도 그 중 하나가 될 수 있으려나.
어쩌면 참고문헌이라는 것은 이젠 정말로 '참고가 된 문헌'이라기보다는, 내 논문이 지식정보망의 어디쯤에 어떠한 맥락으로 위치해 있다는 것을 느슨하게 표명하는 장치 정도가 되어가는 것일지도 모르겠다.
물론 원래도 참고문헌에는 그런 기능이 당연히 있고 또한 그런 기능이 매우 중요하다. 실제로 scientometrics나 science of science에서 citation network를 통해 지식정보망과 지식의 발전경로를 파악하는 것은 매우 많이 하는 일이다.
근데 인간의 '쪼'가 들어가지 않고 느슨하게만 관련이 있는 '무색무취한', '적당한' 인용들이 AI 때문에 폭증하게 되면, 우리가 잘 인식하지 못하는 사이에 그렇게 재구성된 지식정보망의 질조차 종국에는 많이 떨어지지 않을까 싶다. 그런데 양이나 속도 면에서는 AI가 압도적이니, 결국 인류가 쌓아온 방식은 뒤안길로 금세 밀려나서 불필요한 것이 되고, 그런 느슨하고 적당한 방식이 압도하게 되지 않을까 걱정이 있다.
예컨대 분야 상으로는 내 연구와 크게 상관 없어 보이는 어떤 논문의 특정 부분에 큰 영감을 받아서 연구가 진행되었거나, 혹은 나중에 알고 보니 다른 분야의 논문에서 내 생각과 비슷하고 formal한 연관성도 있는 아이디어를 이미 제시한 부분이 있었을 때, AI가 과연 그런 인용을 자동으로 찾아낼 수 있을까? 그리고 그런 이례적인 경우들 외에도, 내 연구가 어느 지형 위에 놓여 있다고 표명하다 보면 '학맥'이라는 것이 자연스레 형성되게 되는데 AI가 분야의 유사성, 연구대상 유사성만을 바탕으로 정보를 취합하다 보면 그런 패러다임적인 것들이 형해화되지 않을까?
그리고 이 모든 것을 잘 한다고 하더라도, 논문 작성 단계가 아니라 논문 다 마무리하고 나서 형식을 갖추기 위해서 한다면 결국은 흉내가 아닐까? 독해력과 문제의식을 갖춘 사람이 봤을 때 그게 납득이 갈까? 이런 생각들이 든다.
물론 새로운 기술적 매체가 등장하면서 내용의 복제가 간편해지면 늘 거대한 양적 확대가 일어나고, AI 또한 의미론적인 영역으로까지 고도화된 복제 및 정보처리 장치라고 할 수 있으니, 이러한 적당하고 느슨한 인용이 더욱 발전하고 양적으로도 확대되면서 인간이 모르던 새로운 방식으로 지식의 구조가 떠오를 수도 있다. 그렇게 인간이 직접 자신의 정신을 개입시켜서 작성하는 텍스트의 가치가 낮아지는 것이, 나중에 나올 무언가를 위해 꼭 필요한 일일 수도 있기는 하다. 그러나 일단 지금 생각으로는 AI 특유의 '적당함', 그리고 인간의 안이함 때문에, 정보처리의 세밀함이 당분간은 계속 낮아지지 않을까 한다.
지난 2023년에, 한국문화예술위원회(ARKO, Art Council Korea) 다원예술지원사업에 선정된 한동석 작가님의 <다이빙 미러Diving Mirror> 프로젝트 참여의 일환으로 쇼케이스 <비전이 공간이 될 때When Vision becomes Space>에서 발제를 하고(본 블로그의 쇼케이스 소개 게시물: 링크), <표현 재조합 기계로서 딥러닝의 기술미학적 쟁점들>이라는 제목으로 발제문을 작성하였습니다(본 블로그의 발제문 소개 게시물: 링크).
해당 문제의식을 발전시켜, 올해에도 ARKO 다원예술창작산실의 지원을 받은 한동석 작가님의 개인전 <고스트 프레임Ghost Frame>에 참여하였습니다. 이번에도 지난번과 같은 제목의 쇼케이스에 참여하여 발제하였고, 전시 준비 과정에서 딥러닝의 매체성에 관련된 자문과 비평 글 작성을 진행하였습니다. 그뿐만 아니라 이번에는 직접 진행한 컴퓨터비전 실습 내용을 2분 가량의 영상으로 정리하여 전시공간에 상영하는 기회도 가질 수 있었습니다. 영상화 작업은 안소희 작가님께서 도와주셨습니다.
이 프로젝트에서는 패턴, 의미, 표현을 정량화하고 연산하는, 디지털에 근거한 새로운 아날로그 신호처리 장치로서 딥러닝이 가지는 특유의 매체성을 미학적으로 탐구하고자 하였습니다. 실습과제에서는 영상 예측 모델에 자기회귀적 구조를 도입하여 '있을법하지만 원본 없는' 가상을 만들어내고, 이러한 가상 화면들의 속성과 실패 양상을 통해 비전 모델들이 움직임, 형상, 시간 등을 어떻게 지각하는지 드러내고자 하였습니다.
아래에 세미나 및 전시를 홍보했던 소셜미디어 포스트, 전시 공간 방문 후기 및 관련 링크들을 옮겨둡니다. 준비 중인 전시 도록 또한 완성 시 링크할 예정입니다.
Last year, I participated in an art–technology project funded by ARKO (Arts Council Korea, 한국문화예술위원회). The project drew on my background in statistical physics and philosophical aesthetics, as well as my interest in deep learning as a new form of analog media sustained by the digital world—one that quantifies and operates on patterns and representations. The project included an interdisciplinary showcase <When Vision Becomes Space: The Second Seminar>, and a solo exhibition <Ghost Frame> by media artist Han Dong Seock. I hosted a session at the seminar and participated in the exhibition, which was held at Hall1 on Seonyudo Island in Seoul. Below is a brief explanation of my contribution to the exhibition. I developed an experimental computer vision practice that turns autoregressive video prediction into an aesthetic probe, using failure and overgeneralization to reveal how vision models “perceive” human motion, form, and time. The results were crafted into a two-minute video.
<비전이 공간이 될 때: 두번째 세미나 When Vision becomes Space: the Second Seminar>
최근에 참여중인 다원예술 프로젝트 협업의 일환으로 <비전이 공간이 될 때: 두번째 세미나>가 오늘 다중지성의 정원 zoom 공간에서 진행됩니다. 정신이 없어서 다소 홍보가 늦었네요.
재작년 <비전이 공간이 될 때> 세미나에서는 딥러닝의 매체성, 그리고 딥러닝이 만들어내는 불완전한 시공간 및 중간적 시공간들에 대해서 기술미학 관점의 발제문을 작성하고 발표했었습니다. 올해는 이 내용과 관련지어 진행해본 기초적인 컴퓨터비전 실습결과와 함께하는, 소박하지만 조금 더 생생한 디스커션을 준비하였습니다. 제 발표 이외에도, 각기 다른 분야의 협업자 선생님들께서 각자의 부문에서 더욱 재미있는 결과들을 보여주실 예정입니다.
그리고 이번에는 오늘자 세미나에서 이론적인 내용을 소개하는 데에 그치지 않고, 10월 17일부터 11월 2일까지 선유도역 인근 Hall1에서 <고스트 프레임 Ghost Frame>이라는 제목으로 전시까지 진행하게 되었습니다. 한동석 작가님의 개인전이지만 저도 전시장 복층 공간에 작은 영역을 할당받아, 컴퓨터비전의 경계를 탐색하는 실습결과를 간단하게 디스플레이 해둘 예정입니다.
_________
전시 《고스트 프레임 Ghost Frame》(한동석展 / HANDONGSEOCK / 韓東奭 / media)의 일환으로 10월 5일 일요일 오후 2시반 줌 세미나가 열립니다.
관심 있는 누구나 참여 가능합니다.
⠀
□ 세미나 소개
일시: 2025.10.5.일요일_2:30pm / 다중지성의 정원 온라인 세미나 공간
10월 5일 오후 2:30에 개최될 『비전이 공간이 될 때, 두 번째 세미나』는 2023년에 있었던 『비전이 공간이 될 때』를 이어 진행됩니다. “다중지성의 정원”과 협력하여 온라인으로 진행되는 본 세미나에서는 『고스트 프레임』 작가를 포함한 서로 다른 분야에서 활동하는 7명이 모여 각자의 주제를 발표합니다. 주로 본 프로젝트의 협업자들로 구성된 발표자들이 펼치는 서로 다른 주제는, 곧 이어 Hall1에서 진행될 전시 『고스트 프레임』을 구심점으로 모입니다.
오늘(10월 17일)부터 11월 2일까지 선유도역 인근 Hall1에서 진행되는 한동석 작가님 개인전 『고스트 프레임(Ghost Frame)』에 과학기술 자문 및 비디오 실습 역할로 참여하였습니다. 전시 포스터와 함께, 안소희 작가님이 편집 맡아 주신 제 작업의 스틸 일부와 리플렛을 공유합니다.
협업자로서 제가 담당한 영상 예측 자기회귀 실습은 전체 전시의 한 부분으로서 전시공간 복층 쪽에 있고, 컴퓨터비전 특유의 지각방식이 만들어내는 환영들에 대해 탐구한 리포트에 가깝습니다. 1층(지층)에 이번 전시의 메인이 되는, 더 흥미로운 인터랙티브 전시 내용들이 많이 있습니다.
자세한 내용은 neolook 링크(아래)를 참고해주시고 혹시 관심이 있다면 많이 보러와주세요. 제 작업 부분은 허락을 거쳐 추후 유튜브 등에 아카이빙할 계획도 있습니다.
_________
고스트 프레임 Ghost Frame
한동석展 / HANDONGSEOCK / 韓東奭 / media
2025_1017 2025_1102
이 사업/작품은 2025년 한국문화예술위원회
다원예술창작산실의 지원을 받았습니다.
This project/work was supported with the support of
『2025 ARKO Partners Multidisciplinary Art』.
관람시간 / 12:00pm~08:00pm
홀원
Hall 1
서울 영등포구 양평로22마길 8 1층
@hallinfo2020
『고스트 프레임』 전은 컴퓨터 비전으로 재구성된 카메라 옵스큐라 공간을 탐구합니다. 관객이 걸으면 영상과 음악은 관객을 따라 움직이고, 걸음을 멈추면 영상과 음악은 관객의 위치를 떠나 새롭게 전개됩니다. 음악이 8마디에 이를 때만 장면이 전환됩니다. 관객을 쫓는 Hall1의 이미지는 인간이 더 이상 외부 세계의 관찰자가 아니라, 이미지 속에서 끊임없이 위치를 부여받는 '관찰의 대상'임을 암시합니다. 이는 카메라 옵스큐라 공간 안에서 달라진 인간의 위상을 드러냅니다. 최대 5명이 동시에 참여하는 이 인터랙티브 구성에서 각자의 시점은 서로 겹쳐지고, 누군가 멈추는 순간 개인적 시점은 사라지며 현재를 벗어난 이미지가 재생됩니다. 전시는 '무위(無爲)'를 통한 도약을, 끊임없이 진보하는 시스템 너머로의 이탈을 상상합니다. ■ 한동석
_________
예측되는 가상: 영상 예측 자기회귀 실습
『고스트 프레임』 展 협업자 오용재
동영상이라는 형식은 시간에 따른 이미지의 연쇄로 이해할 수 있다. 여기서 나타나는 패턴을 컴퓨터 비전기술을 통해 포착하는 비교적 고전적인 기법은 시계열 데이터를 처리하기에 적합한 LSTM 구조에, 이미지 특유의 공간적 상관성을 효과적으로 추출하는 합성곱(convolution) 구조를 결합한 ConvLSTM 신경망이다. 본 실습에서 사용한 PhyDNet 신경망은 여기에 PhyCell 구조를 추가하여 관성, 연속성, 변형의 국소성 등 물리적 움직임의 규칙을 학습한다. 이로써 공간 상에서의 움직임이 동영상으로 주어졌을 때 그 미래 프레임을 예측할 수 있다.
홉필드(Hopfield) 네트워크라는 고전적인 예시에서 보듯이, 신경망은 주어진 데이터를 국소적 신경 상호작용의 가중치들에 의해 형성되는 집단적 안정 상태로 패턴화하여 기억하는 아날로그 물리계이며 이는 현대의 딥 러닝 모델에서도 근본적으로 다르지 않다. 신경망의 학습은 상호작용의 가중치를 조절함으로써 물리계의 상태를 에너지 함수의 안정적인 골짜기로 이끄는 과정이며, 이 과정에서 데이터로부터 취합되고 추출된 시공간적 패턴들은 신경망 가중치 속에 분산적으로 각인된다. 프레임 예측은 이렇게 ‘정적인 수(數)로 기억된 동적 정보’를 불러내는 과정이라고 할 수 있다.
본 실습에서는 사람의 움직임에 관한 동영상 데이터로 위처럼 PhyDNet을 학습시킨 후 자기회귀적으로 구동하여, 예측의 형식을 빌려 본래의 영상 길이보다 더욱 긴 환영적 영상을 출력하게 하였다. 이러한 세팅에서는 모호하거나 지나치게 짧은 입력이 주어질 때 신경망이 기존에 학습한 패턴을 과잉 적용하여 일으키는 오류와, 학습 부족에 의한 불완전성 등이 크게 증폭된다. 이때 화면은 현실과는 거리가 있지만 여전히 일정한 시각적 문법을 따르는 낯선 가상으로 변모한다.
이러한 신경망이 인식하고 만들어내는 형체는 신경망 가중치 속에 분산적으로 각인된 상호작용이 재생산하는 패턴들이며 여기에는 의미, 원근, 깊이 등이 결여되어 있다. 이때 사람의 형상과 움직임은, 신경망 속에서 특정한 형태로 반복적으로 발생했다가 사라지는 일종의 결함 구조나 집단적 여기(勵起) 구조의 출력물로서 등장하게 된다. 이러한 환영들은 특정 과업에 대해 훈련된 신경망이 패턴 학습 및 텍스쳐 처리 기계로서 세계를 지각하는 방식과 그 한계를 음각적으로 드러낸다.
전시 두번째 날쯤 직접 가본 <고스트 프레임> 전시 공간은 독특한 분위기로 잘 꾸며져 있었다. 전시공간인 Hall1 자체를 point cloud로 따서 움직이는 영상으로 만들어 천장과 바닥에 프로젝션해 두고, 옆면은 형체를 흐릿하게 하는 반사판 같은 걸 깔아두어서, 공간이 실제보다 연장되어 있고 무언가 흐물흐물한 느낌이 났다. 고전적 광학장치인 카메라 옵스큐라 안에 맺히는 상들이 형성하는 모호하고 특별한 공간을 현대적 매체와 인터랙티브/컴퓨터비젼 기술을 통해 재사유한다는 취지에 어울리는 분위기였다.
1층에서는 우물을 중심으로 한 관객의 동선이 뒤쪽 위성안테나 모양의 커다란 나무 스크린에 원으로 나타나고, 관객 주변의 바닥에도 관객의 위치가 빛의 덩어리로 표시된다. 잔물결에 반사되는 빛의 이미지도 때때로 바닥면을 훑는다. 그리고 멀티채널 스피커로 된 음악이 여러 사람들의 집합적 동선에 반응하여 변화한다. 방문했던 날에는 아직 음악이 100% 의도대로 작동하고 있지는 않다고 하셨는데, 동선에 반응하는 느낌은 충분히 잘 전달되는 것 같았다. 지금은 의도대로 작동하지 않을까 한다.
전시장의 전면에 있는 반투명 스크린에는 회전하는 수평선의 이미지와, 전시공간을 촬영하여 편집한 영상이 중첩되어 표출된다. 스크린 뒤로는 계단과 그 위의 복층구조가 흐릿하게 보이는데, 계단을 따라 2층으로 올라가볼 수 있다. 여기에는 작가님이 나를 포함한 이번 전시의 과학기술관련 협업자들이 작은 아이디어를 직접 실현해볼수 있게 공간을 내주셨다. 올라가면 내 영상실습 작업과, 언어모델을 활용한 다른 협업자의 작업이 있다.
내 쪽 작업은 인터랙티브는 아니고 이미 만들어져 고정된 3분 가량의 영상으로, 바닥에 가까이 닿게 프로젝션 해두었다. 학습된 기계가 모호한 입력에 대해 만들어내는 환영들을 자기회귀적 영상 예측을 통해 증폭해서, 컴퓨터비전 특유의 시공간 지각과 그 매끄럽지 않은 이음매들을 보여주고자 했다.
실습 설명 자료도 인쇄해서 붙이고 왔는데 (이게 이 날 방문의 본 목적), 종이에 블루 펄 처리가 되어있어서 밝은 곳에서 보면 정말 예쁘지만 사진으로도 잘 안 담기고 어두운 전시 현장에서도 잘 안 보이는 점이 아쉽다.
뒤편의 노트북에 있는 언어모델 관련 인터랙티브 작업에서는, 1층 공간을 내려다보는 구도의 영상과, 관객이 직접 입력하는 (때로는 부조리할 수도 있는) 질문을 입력받아 언어모델을 통해 점층적으로 환영적 문장을 만들어낸다.
아무쪼록 느슨하게나마 거의 2년간 논의를 지켜보며 참여해 왔는데 이런 가시적인 형태의 산물로 마주하니 신기하기도 하고, 예술가 분들의 날카로운 직관과 세심한 감각에 자주 놀라기도 하고 이래저래 보람찬 경험이었다.
작년 하반기 동안 작게나마 참여했던 한동석 작가님 개인전 <고스트 프레임>의 도록이 한국문화예술위원회 다원예술창작산실의 지원으로 발간되었다고 합니다. 어제 인쇄본을 받아 보았는데 품질도 좋고 멋지게 나온 것 같습니다.
설치 및 미디어 작품도 공연예술처럼 현장성은 좋지만 보존이 근본적으로 어렵기에 아쉬운 면이 있는데, 손에 만질수 있는 형태로 도록이 나오니 뭔가 보람차게 느껴집니다. 문예위의 이름이 찍혀 있지만 어떤 정식 출판물로서 ISBN이 있거나 그런 건 아닌 것 같습니다. adocs에 분량 전체 공개되어 있습니다 (링크).
제가 참여한 부분뿐만 아니라, 전시 전반에 대해 <기계적 지각의 틈새를 걷기, 데이터의 환영을 목격하기>라는 제목으로 글도 한 편 작성하여 수록하였습니다. 저도 참여한 전시이기 때문에 반쯤은 소개글, 반쯤은 비평글이 되겠네요.
Facebook에서 이 글 보기: 링크_________________________________________________________________
Recently I joined an interdisciplinary study group called the 'TMI group', which consists of students from various backgrounds including AI, neuroscience, physics, education studies and philosophy. This group is one of the most enthusiastic study groups I have ever attended, providing actually productive discussions and critical issues.
Last week, I hosted a zoom seminar for this group titled 'Statistical-physics approaches to deep learning: dynamical and structural perspectives (DL x SP)'. I aimed to convey that deep learning can be understood as a 'non-linear many-body system with non-deterministic dynamics', therefore being a legitimate topic of SP.
Even within SP, there are many incommensurable views for the analysis of DL. Some are indeed useful but relatively phenomenological, while others fundamentally tackle the structural aspects of DNNs. Recently, I believe 'disorder' is the most central concept of the SP view of DL.
NNs are highly complex, since they are non-linear combinations of functions with vastly different weights. But they are distinguishable from completely random fields since they learn something and form good representations. They are indeed complex, but they are somehow 'structured' and (especially thanks to the fact that they involves super high-dimensional space) the situation is not so bad.
This subtle regime is effectively tackled by theories developed for disordered systems including replica method. These calculations have been successfully connected to actually important concepts in DL community, such as lazy (kernel) learning versus feature learning, flat minima, linear mode connectivity (for example, see B. L. Annesi et al., "Star-shaped space of solutions of the spherical negative perceptron," Physical Review Letters131 (2023)).
In fact, this perspective traces back to the ancient era of deep learning. Even at the 1980s and 90s, statistical physicists have focused on analyzing the phase behavior during the learning of multi-layer NNs (including quite practical issues such as teacher-student scenario). The Nobel Prize awarded last year to J. J. Hopfield was a controversial topic among physicists. But one lesser-known fact is that when G. Parisi won the prize in 2021, the citation already referred to AI theory—specifically in relation to his theories on glassy disordered systems and its relevance to DL.
Of course, as one of the TMI group members pointed out, to make these more practically applicable, they must be further refined by scholars in statistical learning theory, and should be integrated with the fields of computational theory and optimization. For example, one may see 'dynamical mean-field theory' approaches by T. Suzuki group (U Tokyo) and how they rigorously explain feature learning and in-context learning.
Next month, I will host a focus review session introducing high-dimensional random geometry (which also employs SP methods for disordered systems) in the context of modern deep learning. It begins with a simple and general geometric problem—separating labeled points (or ellipsoids) with a hyperplane—but ultimately explains the surprising success of modern AI, including few-shot learning and in-context learning.
For the former, see B. Sorscher, S. Ganguli and H Sompolinsky, "Neural representation geometry underlies few-shot concept learning," Prog. Natl. Acad. Sci.119 (2022). For the latter, see A. J. Wakhloo, T. J. Sussman and SueYeon Chung, "Linear classification of neural manifolds with correlated variability," Phys. Rev. Lett.131 (2023) and A. Kirsanov, C. N. Chou, Kyunghyun Cho and SueYeon Chung, "The geometry of prompting: Unveiling distinct mechanisms of task adaptation in language models," arXiv:2502.08009 (2025).
On a lighter note, in a KIAS lecture series planned to held at early August this year, Prof. SueYeon Chung is invited as a lecturer. I am looking forward the lecture since it is first time for me to attend Prof. Chung's lecture in-person.
몇 달 전 TMI group이라는 다학제적 모임에 조인하게 되었습니다. AI, 신경과학, 물리학, 교육학, 철학 등 여러 지적 배경의 대학원생들이 참여하는데요, 모임장님이 잘 리드하시는 덕분에 모임의 응집력도 꾸준히 유지되고, 다학제적 모임임에도 느슨한 교류를 넘어 상당히 구체적인 이론적 쟁점에 대한 논의들도 오가는 편이라서 많이 배워 가고 있습니다. 분석철학에서의 중국어 방 문제, 기존 언어학에서의 형식주의적 접근과 LLM의 통계적 해법의 화해 가능성, 신경과학의 자유에너지 원리 등에 대해 논문들을 바탕으로 개괄하고 토의하고 있습니다.
지난주 제 발표 순서에서는 '딥러닝에 대한 통계물리적 접근: 동역학적 및 구조적 관점(DL x SP)'라는 제목으로 세미나를 진행했습니다. 딥러닝이란 비선형성을 갖고 확률적인 동역학을 바탕으로 고차원 표현들을 형성하는 다체계이며, 따라서 통계역학의 적법한 주제가 되어왔음을 전달하고자 했습니다.
현대 딥러닝은 굉장히 많은 노하우들이 접목되어 탄생하였고 그만큼 다양한 관점에서 그 원리가 분석될 수 있습니다. 심지어 통계물리학 안에서도 딥러닝을 보는 여러 가지 관점들이 있고, 그들은 서로 다른 층위에 있으므로 단일한 픽쳐로 잘 합쳐지기가 어렵습니다. 그들 중 일부는 물론 쓸모있지만 비교적 현상론적인 반면, 다른 일부는 심층신경망의 구조적 특징을 꽤 근본적으로 건드립니다. 최근에 저는 'disorder'(마치 glassy system 즉 유리와 같은)가 딥러닝에 대한 통계물리적 관점에서 가장 중심적인 개념이라고 생각하고 있습니다.
수많은 서로 다른 가중치들이 비선형적으로 연결된 심층신경망은 지극히 복잡하지만, 그것이 무언가를 학습해서 좋은 표현을 형성하는 한 완전한 무작위 장과는 구분될 수도 있습니다. 복잡하지만, 분명히 어떤 식으로든 구조화되어 있고 (특히 차원이 너무나 높은 덕분에) 생각보다 상황이 좋을 수도 있다는 것입니다.
Replica method를 비롯한 무질서계에 대한 통계역학 이론들을 이러한 미묘하고 중간적인 영역에 적합하게 적용하여, 딥러닝 커뮤니티에서 실질적으로 중요한 여러 개념들, 예컨대 lazy (kernel) learning vs feature learning, flat minima, linear mode connectivity 등과 우아하게 연관지을 수 있습니다 (예시: B. L. Annesi et al., "Star-shaped space of solutions of the spherical negative perceptron," Physical Review Letters131 (2023)).
사실 이러한 무질서계 관점은 딥러닝 초창기에 그 기원을 찾을 수 있습니다. 8-90년대에 물리학자들은 이미 다층 신경망의 패턴학습과 상전이를 분석하는 연구를 다수 진행했고 이는 때때로 현대 기준으로 보아도 상당히 프랙티컬한 주제(이를테면 전이학습에서의 teacher-student 시나리오)에 대한 관심으로 이어졌습니다.
작년 J. J. Hopfield의 노벨물리학상 수상은 세간에 화제였을뿐 아니라 물리학자들 사이에서 꽤나 논란이었는데요, 사람들이 잘 모르는 사실은 G. Parisi가 2021년에 물리학상을 수상했을 때에도 시상 취지 중 하나에 이미 머신러닝에의 이론적 기여가 명시적으로 포함되어 있었다는 점입니다. 이는 Parisi가 무질서계 해석을 위해 제안한 replica 방법이, 유리를 닮은 계 중에서도 특히 딥러닝을 설명하기에 유용했기 때문입니다.
물론, TMI group의 멤버께서 올바르게 지적했듯이, 이러한 통계역학적 관점이 흥미로운 설명을 넘어 실질적인 쟁점과 새로운 지식을 제공하기 위해서는 statistical learning theory 등을 비롯한 보다 수학에 가까운 분야의 이론가들의 참여를 통해 더욱 rigor를 갖추고, 계산이론 및 최적화 등과 관련지어질 필요도 있겠습니다. 최근에 dynamical mean field theory 쪽이 이러한 방향으로 상당한 진전을 보면서 feature learning, in-context learning 등의 설명에 이르고 있는데 (대표적으로 도쿄대학 Taiji Suzuki 그룹), 여기에 disorder 및 고차원과 같은 딥러닝의 특징이 얼마나 반영될 수 있는지 (혹은 그럴 필요가 없는지)는 저도 더 공부해보아야 할 것 같습니다.
다음달의 focus review에서는, 개괄적이었던 이번 세미나에서 꾸준히 시사되었으나 구체적으로 다뤄지지는 않은 '고차원'의 이점을 소개할 계획입니다. 위에도 썼듯 딥러닝의 성공은 무질서와 고차원 사이의 미묘함에 있다고 보기 때문입니다. 고차원 무작위 기하학을 바탕으로 딥러닝의 성능 척도를 성공적으로 예측하는 통계역학적 이론들을 다루고자 합니다.
이들은 매우 간단하고 일반적인 기하 문제 (색깔이 칠해진 채로 랜덤하게 흩뿌려진 점들 혹은 타원체들을 단 하나의 평면으로 올바르게 분리할 수 있는지 여부, 혹은 그럴 확률)에서 출발하여, few-shot learning, 그리고 prompt를 통한 in-context learning 등 현대 AI의 놀라운 현상들까지 기하적으로 잘 설명해냅니다.
전자에 대한 것은 B. Sorscher, S. Ganguli and H Sompolinsky, "Neural representation geometry underlies few-shot concept learning," Prog. Natl. Acad. Sci.119 (2022), 후자에 대한 것은 A. J. Wakhloo, T. J. Sussman and SueYeon Chung, "Linear classification of neural manifolds with correlated variability," Phys. Rev. Lett.131 (2023) 및 A. Kirsanov, C. N. Chou, Kyunghyun Cho and SueYeon Chung, "The geometry of prompting: Unveiling distinct mechanisms of task adaptation in language models," arXiv:2502.08009 (2025) 등이 그 예시가 되겠습니다.
여담이지만 8월 초에 저도 참석하기로 한 고등과학원 lecture series에 정수연 교수님께서 강연자로 오시게 되었는데, 직접 말씀 들어 보는 것은 처음이라 매우 기대가 됩니다.
지난번에 포스팅한 대로, 한국문화예술위원회 다원예술창작지원사업 <다이빙 미러> 프로젝트의 쇼케이스 "비전이 공간이 될 때"가 지난 12월 10일(일요일)에 진행되었습니다.
저는 '기술 미학'이라는 키워드로 지난 10월부터 이번 협업에 참여하여, <표현 재조합 기계로서 딥러닝의 기술미학적 쟁점들>이라는 제목으로 발제문을 작성하였고, 또한 이를 바탕으로 협업자의 한 명으로서 30분가량의 발표를 진행하였습니다.
과분하게도 제 발제문이 이번 쇼케이스에 전반적인 화두를 던지는 역할을 하게 되었는데, 제가 여러 의미로 아날로그 vs 디지털을 비교하면서 밀어붙인, '딥러닝의 매체성은 디지털화의 끝에서 등장한 아날로그이다 (디지털의 양적 팽창 -> emulated analog로의 질적 도약)'라는 테제가 사전미팅 때도 그렇고 본 쇼케이스 때에도 꽤 논쟁적이어서, 예상보다 활발한 논의가 있었고 저도 많이 배우는 시간이 되었습니다.
아무쪼록 뒤늦게 합류하여 길지 않은 시간 동안 디스커션 하며 작업했는데도 한동석 작가님을 중심으로 여러 협업자 선생님들과 밀도있는 교류가 오간 인상깊은 시간이었습니다. 유튜브 영상 다시 보면서 개인적으로 느낀 점은 발음/발성 연습을 좀 해야겠다는 점이었습니다.
사업결과 공유 차 이번 쇼케이스에 대한 네오룩neolook 공지 게시물 (쇼케이스 진행 후 업데이트됨) 을 덧글에 링크하였습니다. 또한 네오룩 공지의 여러 링크는 12/19(화)를 끝으로 만료될 예정이라, 발제문 pdf 파일과, 저 외에도 총 5명의 협업자가 함께한 쇼케이스 녹화본 유튜브 영상들도 덧글로 직접 링크해둡니다.
<다이빙 미러>는 영상매체 작업에 컴퓨터비전 기법을 도입한 다원예술 프로젝트로 저는 지난 10월 초부터 참여하였는데, 주말을 활용하여 2회의 디스커션, 그리고 1회의 내부 상영회(사전미팅)을 거쳐 '기술 미학'이라는 키워드로 쇼케이스에 참여하게 되었습니다.
저는 여기에 늦게 합류한 관계로 준비 기간이 짧기도 했거니와 AI 현업에도, 미학분야에도 내세울만한 전문성은 없다보니 훌륭한 분들 사이에 참여해도 될지 걱정을 많이 했는데, AI에 대한 약간의 수학적/물리학적 이해와 더불어, AI가 개입되는 새로운 예술형식에서 발생하는 매체미학적 쟁점에 대한 제 나름대로의 견해를 재미있게 봐 주셔서 그런 내용들에 대해 짧은 발표를 해 보고자 합니다.
오용재 ● 학부시절 전기공학, 물리학 및 미학을 공부하였으며 현재 물리학전공 박사과정생(통계물리 세부전공)이다.
생체를 비롯한 여러 시스템들의 창발적 집단현상에서 나타나는 에너지 및 정보의 흐름과 그 제약 조건들에 대해 확률을 도구삼아 연구하는 '비평형 통계물리학'이 본업이며, 이러한 관심사를 인공지능 시스템의 풍부한 표현 학습과 높은 성능에 대한 이론물리학적 해명에 다각도로 접목하는 연구들도 조금씩 살펴보고 있다.
최근 인공지능에서 딥러닝 패러다임의 부상은, 데이터를 학습하여 구조화되며 고차원 공간상에서 배열되고 표류하는 '표현'들의 기하학으로써 특히 문화기술 부문에서, 그간 주관적 표현의 영역이었던 '의미'와 '질감'에 대해 우리 스스로 더 잘 이해하고, 더 나아가 그것들을 엔지니어링할 수 있게 길을 열어 주고 있다.
이렇듯 근래에 실현되고 있는 시맨틱 테크놀로지, 텍스쳐 테크놀로지로서의 딥러닝이 인간과 상호작용함으로써 촉발되는 새로운 종류의 미학적, 인간학적 질문들을 꾸준히 포착해 나가고자 한다.
본 프로젝트에서 여러 문화예술 부문의 협업자 선생님들이 함께하는 다원적 작업에 참여할 수 있어 설레는 마음이며 많은 기대감을 가지고 있다. 상이한 매체성이 테크놀로지에 의해 종합되면서 제공되는 새로운 시공간적 체험들과, 그러한 테크놀로지의 여백 및 틈새에서 폭로되는 시공간 지각의 매끄럽지 않은 이음매들에 특히 관심을 기울이고자 한다.
주관적인 것들에 관한 학으로서 미학 고유의 영역이, 테크놀로지의 인간학적 해석과 수용에 적절히 기여할 수 있다는 것을 주로 텍스트작업과 컴퓨터비전 실습작업을 통해 탐구해 보고자 한다.
이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.
부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.
말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.
이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.
좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.
사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.
사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.
그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.
다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.
물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.
