프로티나

지난 7월 말 코스닥 상장 이후 4개월여 만에 600%를 넘는 주가 상승세를 보이고 있는 프로티나(468530)는 윤태영 당시 KAIST 물리학과 교수(현재 서울대학교 생명과학부 교수)가 창업한 기술기업이다. 프로티나는 정제되거나 증폭되지 않은 단분자 상황에서의 단백질-단백질 상호작용(PPI)을 검출하고 분석하는 single-molecule protein interaction detection (SPID) 기술을 핵심으로 내세우고 있다.

윤태영 교수님은 고해상도 단분자 이미징 기법의 전문가로, 이러한 기법들을 이용하면 증폭된 벌크 물질로부터 나오는 평균적 신호 대신에, 시공간상에서 특정 위치를 점유하고 있는 실제 개별적인 생체분자들의 움직임과 상호작용을 관찰할 수 있다. 이러한 기법들을 통해 단백질의 접힘 경로를 직접 관찰하거나, DNA사슬을 형광 표지하여 그 내부의 자세한 구조적, 동적 정보를 재구성하는 등 생체고분자에 대한 해상도높은 분석이 가능하다. 프로티나의 창업도, 이러한 기술을 PPI 네트워크 구성에 활용했다고 보면 자연스럽다 (아래 그림).

PPI 네트워크는 말 그대로 생물계를 구성하고 기능을 하는 여러 단백질 종류들 간의 상호작용 여부를 연결망으로 표현한 것이다. 나도 2018-2019년에 PPI 네트워크 관련된 간단한 연구참여를 한 적이 있다 (아래 그림). 복잡계 물리 및 네트워크 과학의 전문가이신, 카이스트 물리학과 정하웅 교수님 연구실에서였다.

CRPS(복합부위통증증후군)에 관여하는 PPI 네트워크를 구성하고 정적인 분석을 하는 간단한 프로젝트였는데, 기존에 천식(asthma)에 대해 진행되었던 PPI 연구(S. Hwang et al., J. Theor. Biol. 2008)를 많이 참고해서 진행하였지만 해당 연구에서 사용한 HPRD라는 데이터셋보다 더욱 큰 STRING 데이터셋을 바탕으로 보다 풍부한 PPI 네트워크도 구성하였다 (아래 그림). 그리고 이 각각의 네트워크에 대한 구조 분석을 통해 CRPS에 가장 많이 관여할 것으로 생각되는 2개 수준(candidate / putative)의 후보 유전자를 목록화하였다. 웹에 공개된 여러 생물정보학 데이터 및 R, git bash 등으로 되어 있는 분석 도구도 다루어 보고, C/C++을 이용한 복잡 네트워크 분석 경험도 쌓아서 통계물리에 실질적으로 입문하는 계기가 된 소중한 경험이었다.

(이 글을 쓰면서 당시에 작성했던 보고서를 다시 읽어 보니 도메인 지식도 꽤 필요했을 것 같고 이것저것 익혀야 할게 많아 상당히 품이 많이 드는 일이었을 것 같은데, 반 년 정도 되는 기간 동안 다른 주제의 학사 학위논문과 병행하면서 어떻게 했는지 모르겠다. 그 기간은 진로 불확실성으로 인해 울적해하면서도, 통계물리 분야 대학원에 꼭 오고 싶어서 잠 줄여 가며 이것저것 준비를 했던 시기다. 그래서 내 인생에서 제일 밀도높게 보낸 시기 중에 하나이면서도, 긴 터널을 통과한 것처럼 유난히 기억이 흐릿한 때이기도 하다.)

다만 내가 이 프로젝트에서 진행했던 것은 생물정보학에서 흔히 하듯이 퍼블릭 데이터를 바탕으로 구성한 네트워크에서 degree (연결선 수)와 betweenness centrality (네트워크의 한쪽에서 다른 쪽으로 갈 때 특정 노드를 지날 수밖에 없다면 그 노드의 BC가 큼) 등의 지표를 이용한 정적인 구조 분석이다보니, 실제 생체 내에서 일어나는 biological pathway에 대한 정보를 알기 어렵다는 등의 한계는 있다. 이와 달리 프로티나의 핵심 기술인 SPID는 퍼블릭 데이터를 이용하는 것이 아니라 직접 단분자 실험과 검출을 해서 PPI 네트워크를 구성하는 것으로 보이는데, 이에 따라 pathway를 추론하는 정도를 넘어서 아예 상호작용 기전의 일부분을 단분자 수준에서 직접 확인하는 수준의 해상도를 가질 수 있어 보인다. 이러한 연구는 항체 약물 설계에서 후보물질을 효율적으로 선별하고 개선하는 데에 응용될 수 있다.

그렇다면 혹시 한때 KAIST 물리학과에 함께 소속되어 계셨던 윤태영 교수님과 정하웅 교수님이 협업하신 연구는 없을까? 찾아보니 Science (2019), Nano Letters (2021)로 2건이 검색되지만, 둘 모두 PPI 관련된 연구는 아닌듯하다. 만약에 PPI 네트워크 쪽에서 두 분이 협업하신 연구가 있었다면 나도 프로티나와 느슨하게나마 '근거있는 내적 친밀감'(?)을 가질 수 있었을 텐데, 농담이지만 아쉽다.

프로티나가 최근에 수주한 항체 약물 연구개발과제에 공동 참여하고 있는, AI 단백질 구조예측 및 설계의 대가이신 생명과학부 백민경 교수님이 해당 연구개발과제 하에서 생성형 항체 설계 도구를 개발 중인 것으로 알고 있다. AI를 이용한 de novo 항체단백질 설계와, 이에 대한 단일분자 수준의 빠른 실험적 검증이 결합되면 제약 분야 특유의 어렵고 긴 과정을 많이 단축할 수 있을 듯해서 앞으로도 기대가 된다.

Facebook에서 이 글 보기: 링크

복잡계 분야 윤혜진 교수님의 서울대 경영대 부임 소식

우리 교수님의 교수님이신 정하웅 교수님의 또다른 박사 제자이신 윤혜진 교수님(켈로그 스쿨)께서 이번에 서울대학교 경영대학으로 옮겨 오셨다는 소식(링크)이다. 부임한 지 얼마 안 되셔서 바쁘시겠지만 우리 연구실에도 초청 강연을 추진해 보면 좋겠다.

복잡계물리 쪽 연구방법론으로 인문사회 쪽 전공에 임용되신 또다른 경우로는 서울대 사회학과 손윤규 교수님이 계시며, 융합적인 전공에서 데이터 기반으로 인문사회학적 문제를 연구하시는 분들로 넓혀 보면 경희대학교 육순형 교수님, 숭실대학교 윤진혁 교수님 등 더욱 많이 계신다.

Facebook에서 이 글 보기: 링크

차이의 감각에서 비롯되는 사회적 행동의 LLM 표현공간을 이용한 모형화 제안

다개체 동역학 시스템(Multi-agent dynamical systems)의 관점에서, 타 개체에 대한 아주 원초적인 호불호의 감각들과 기본적인 사회적 행동의 규칙들만을 바탕으로 여러 가지 복잡다단해 보이는 social behavior들 (대표적으로 이지메 같은 것)을 재현해 낼 수 있지 않을까 하는 생각을 한 적이 있었다. 그것들이 재현된다면, 반대로 최소한의 개입으로 특정한 현상을 억제하는 external control도 개발해 볼 수 있을 것이다.

이러한 아이디어의 아주 원시적인 버전을, 2018-2 학부 시절에 수강한 최적제어이론 수업 프로젝트에서도 풀어낸 적이 있다. 그 때 내가 다룬 문제는 이지메는 아니었고, 죄수의 딜레마 (정확히는 죄수의 딜레마를 연속 시간 및 연속적인 협력도에 대해 일반화한 CAIPD라는 모형) 때문에 낮은 수준의 협력에 머무르고 있는 동역학계가 있을 때, 한 agent에만 외부 제어입력을 가함으로써 인위적으로 협력의 수준을 끌어올리는 것이었다.

협력도를 높이기 위한 최적의 제어입력을 구하는 것이 해석적으로 풀리는 문제는 아니어서, 기본적인 분석만 한 뒤에 제약된 조건에서 의사-최적 해를 수치적으로 구했다.

여기서 중요한 목표는 당연히 최종 시점의 협력도를 높게 하는 것인데, 이것을 약간 더 재미있게 하기 위해서 나는 시간에 따른 두 개체의 '협력도 차이의 누적량'을 최소화하라는 조건도 넣었다. 사실적으로 생각해 보면, 최종 협력도가 높더라도 한쪽만 협력 의사가 많고 다른 쪽은 협력 의사가 별로 없을 경우 상당히 stressful한 상황이 되고, 실제 고도의 사회적 상호작용과 목표 달성은 실패하고 있는 상황일 수 있기 때문이다.

여기에 더해서, 개체들간에 고도의 지적 판단 없이도 본능적으로 느끼고 표출하는 '차이의 감각'이 서로를 이해하거나 배제하는 핵심 기제가 되지 않을까 하는 내 오래된 직관과도 관련이 있다. 간단하지만 지금 봐도 꽤 재밌는 디자인이다.

그런데 그런 원초적인 호불호의 감각이나 다양한 감정에 해당하는 internal state를 그럴듯하게 모형화하는 것이 어렵다 보니, 이 프로젝트는 각 개체의 상태가 '협력도'라는 단 한 개의 축으로 되어 있는 지극히 간단한 모델을 이용하여 수행되었다. 게다가 더 심한 문제는, 개체에 가해 주는 외부 입력의 인간학적 해석 자체가 불명확하다는 것이다. 그냥, 이유는 모르지만 한 개체가 갑자기 협력할 의사를 갖게 될 뿐이다. 겸손하게 말하자면, 협력도를 높이라고 시켰으니 당연히 높아지는 상황 정도에 그친 것이다.

물론 기본적으로 낮은 협력도를 유지하게 만들어진 모델인데도, 한쪽만 일부러 높여 주면 다른 쪽이 같이 올라갈 수 있다는 내 관찰은 죄수의 딜레마 모델의 동역학적 특성에 대한 분석으로서 의미가 있기는 하다.

여하튼 이러한 한계의 이유는 더 말할 것도 없이 모델이 너무 단순해서이다. 그러나 이를 굳이 거창하게 말해 보자면, 내가 사용한 모델의 internal state가, 외부 입력에 의해 간접적으로만 액세스되는 인간의 감정적, 사회적 특징을 모사하지 못했고, 그 이전에 state space의 차원 (협력도라는 1차원 축) 자체도 그런 일을 절대 수행하지 못할 만큼 낮았기 때문이라고 할 수 있겠다. 그렇다 보니, 제대로 된 모델이 떠오르기 이전에는 이 주제와 관련해서 더 자세한 탐구는 하지 않게 되었었다.

생성AI 시대가 된 지금, 오랜만에 이 주제를 꺼내 보고 다시 떠오르는 게 있다. 먼저 위와 같은 감정적인 부분에 대한 internal representation을 갖고 있는 LLM agent들을, 그런 부분들 위주만으로 남겨서 경량화하거나 미세조정(fine-tuning)한다. 만약에 경량화시키는 방식 자체를 달리하거나 혹은 노이즈를 주어서 agent별로 약간의 차이를 두면, 이는 사람별 성격 차이 혹은 인지 도식의 미세한 차이에 대응될 것이다. 그리고 이러한 representation을 여러 방법으로 뜯어서 이해해 본다.

그 다음에 특정한 상황을 제시하고, 이렇게 만들어진 여러 agent들 사이에 최소한의 짧은 사회적 상호작용들과 의사소통을 하게 한다 (이런 것 자체는 이미 여러가지 있었던 것 같다). 이러한 상호작용은 그 종류에 따라 LLM으로 하여금 서로 다른 emotional, social한 representation을 시시각각 동원하게 할 것이다. 만약에 경량화를 했더니 상황에 대한 이해가 떨어지고 인간적 능력이 깎여 나가는 것이 관찰된다면, full weight를 가지면서도 최소한의 짧은 상호작용만을 하는 stylized output을 내도록 프롬프팅을 할 수도 있다.

그렇게 한 다음에 dialogue의 한 round보다 훨씬 긴 시간 동안 관찰을 하면, LLM이라고 특별한 취급을 할 것 없이, 정해진 weight 값과 약간의 stochasticity를 바탕으로 서로 신호를 주고받는 어떠한 연속시간 동역학계라고 간주할 수 있다. 물론 LLM인 만큼 굉장히 차원이 크겠지만, 로컬에서 inference할 수 있게 경량화된 LLM 같은 것도 있다고 하니 비용 면에서 아주 불가능한 수준의 일은 아닐 것 같다.

이러한 상황에서, 주어진 설정과 외부 환경 하에서 각 개체별 차이에 의해 어떤 social behavior들이 창발하는지, 각 개체들이 어떠한 역할에 놓이게 되는지 관찰해보고, 그러한 현상들이 각 LLM agent들의 고차원 internal representation에 비추어 볼 때 어떠한 인간학적 해석을 갖는지까지 뜯어본다면, 서두에서 언급한 내 오래된 상상을 조금 더 구체적으로 다룰 수 있지 않을까 한다.

이런 작업의 결과가 실제 사회학이나 심리학 같은 게 될 수는 없겠지만, 통계물리에서도 일부 진행하고 있는, 협력, 진화, 생태 등에서 영감을 받아서 단순화한 모형을 다루는 비선형 동역학 연구에는 포함될 수 있지 않을까 한다. 거대 딥러닝 모델이 자신에게 주어진 loss를 minimize하기 위해 알아서 형성해주는 고차원의 internal representation들을, 우리가 그냥 주어진 고정된 물체처럼 생각하고(?) 다방면으로 꺼내서 쓰면서 또다른 연구들에도 활용할 수 있는 것이다.

Facebook에서 이 글 보기: 링크

혼돈의 가장자리에서의 계산, 언어의 멱법칙 그리고 어텐션 메커니즘

옛날에 물리학자들이 computation in edge of chaos (혼돈의 가장자리에서의 계산) 이라고 해서, 창발적인 정보처리 시스템 (말하자면 일종의 아날로그 계산기)가 바로 임계점 (criticality), 즉 혼돈과 질서의 경계 근처에서 작동을 잘 한다는 연구를 많이 했었다. 주로 세포 자동자(cellular automata)를 바탕으로 한 연구들인데, 이런 개념이 90년대 당시의 신경망 연구에도 나름 적용이 시도되었던 것으로 안다.

딥러닝 붐 이후의 deep information propagation이라는 일련의 연구 흐름에서도 꽤 비슷한 메시지가 있다. 정보가 뉴럴넷의 layer를 따라서 충분히 깊게까지 전파되려면 뉴럴넷의 파라미터들이 임계점 근처로 초기화되어 있어야 한다. 그런데 untrained 뉴럴넷에서의 정보 전파의 평균 깊이는, 다름아니라 훈련 가능성 (trainability) 과 dual 관계임이 알려져 있다. 따라서 뉴럴넷이 학습이 잘 되기 위해서는 임계점 근처에서 초기화 되어야 한다는 것이다.

그런데 현실의 딥러닝에서는 이런 이상적인 뉴럴넷이 아니라 복잡한 기법이 덕지덕지 붙어 있는 아키텍쳐를 사용하는데, 과연 이러한 empirical한 상황들에서도 위와 같은 얘기가 의미가 있을까? 현재까지 생각하기로는, 정답은 '있다'인 것 같다. 대표적으로, 유명한 ResNet 모델처럼 skip connection을 주면, gradient가 exponentially explode하지 않고 따라서 뉴럴넷이 edge of chaos에 더욱 효과적으로 머무른다(hover)는 연구가 있다.

이외에도, 모델이 vanilla하고 단순할수록 임계점에서 쉽게 멀어져 버리고, 복잡한 기법들이 덕지덕지 더해졌을때 오히려 임계점 근처에 잘 머무를 수 있다는 생각은, 물리에서 스스로 짜인 임계성 (self-organized criticality) 이 왜 그리 특별하게 받아들여지는지 상상해 보면 그리 이상하지 않은 것 같다. 사실 내가 SoC를 제대로 공부해본건 아니어서 부정확한 상상일수도 있지만 말이다.

그리고 이런 식의 각론을 떠나서, 너무 질서있지도, 너무 혼란스럽지도 않은 딱 중간지점에서 자명하지 않고 재미있는 현상들이 나타날 것이라는 게 복잡계 과학을 연구하는 통계물리학자들 사이의 어떤 믿음이기도 하다. 그리고 통계물리학자라면 finite-size effect라는 이름으로 많이 들어 보았겠지만, 시스템의 크기가 무한하지 않을 때 이러한 혼돈의 경계는 sharp한 경계선 (메져 제로) 이 아닌 유한한 영역으로 뭉개지게(?)되고, 따라서 파라미터를 잘 고르면 실제로 달성이 가능하게 된다.

위와 같은 맥락에서 최근에 나는 트랜스포머의 셀프-어텐션 메커니즘 기반의 거대 모델들이 임계점 근처에서 작동할 거라는 상상을 하고 있다. 이거는 위의 맥락뿐 아니라 조리있는 언어 데이터 (요즘 말로 하면 거대언어모델의 출력데이터) 가 멱법칙을 보인다는 오래 연구된 관찰과도 합치한다. 그런데 이상하게도 이것을 직접 다루는 논문은 물론이고 간접적으로 시사하는 논문도 그리 많지는 않으며, 임팩트가 높지 않은 논문들만이 몇 건 있다.

복잡계 과학이라고 하는 분야가 임계현상, 혼돈의 경계, 비선형성, 자기조직화 임계성 등의 키워드 그 자체만으로 대단한 흥밋거리와 떡밥이 되는 시절은 아쉽게도 좀 지나가긴 했다. 그래도 물리학 및 인접분야 사람들이 이런 걸 분명히 많이 알고는 있을텐데 최근의 트랜스포머 기반의 거대모델에 대해 많이 적용을 안 한 것을 보면, 이미 다 계산해 봤는데 별다른 재밌는 게 안나오거나, 아니면 충분히 가능한 픽쳐인데도 아직 어려워서 안하거나 둘 중 하나일 것이다. 똑똑한 사람이 워낙 많으니 전자일 가능성이 높겠지만... 이쪽을 한번 공부하고 탐구해 보아도 재미있을 것 같다.

Facebook에서 이 글 보기: 링크

계산기로서의 비선형동역학계를 연구하는 Herbert Jaeger 교수님

Herbert Jaeger 교수님은 대학원 입학 초기에 조사해 보았던 분이다. 그런데 이 분이 하시는 일이 내 최근 관심사와 비슷해서 요새 다시 생각이 난다. Reservoir computing 패러다임의 일종인 ESN (echo state network) 를 만든 분인데, 그것을 포함하여 수많은 비선형성이 있는 신경망기반 기계학습에서 블랙박스의 beyond에 모종의 이해가능하고 일관성있는 로직을 수립하려는 conceptor라는 일도 하셨어서, 이게 재밌어서 찾아봤었다.

요새 이분에 대해 다시 관심이 생긴 것은, Facebook 및 블로그에도 몇번 썼듯이 최근에 '의미 엔지니어링' (내가 임의로 정한 용어) 그리고 아날로그 컴퓨팅에 꽤 관심이 생겼기 때문이다. 다만 이 분의 백그라운드 및 방법론은 비선형동역학 및 약간의 통계학 기반이고, 아쉽게도 내 전공인 통계물리 이론이랑은 큰 관련은 없어보이기는 한다.

아날로그 컴퓨팅 혹은 unconventional computing 이라고 하면 뭔가 순수 학계에서 소소하게 하는 일이라는 이미지가 있다. 그런 데서는 정말 온갖 종류의 정보처리 시스템 및 비선형 시스템을 제어가능한 계산기로 엔지니어링하기 위한 기초원리와 building block을 확립하고자 한다 (아래 그림 참고. 그림 상단에 출처.).

내가 공부하고있는 능동물질(active matter)의 경우에도 정보처리 기계로 보는 관점이 점점 등장하고 있으니, 능히 그중 하나가 될수 있을 것이다. 반면에, '뉴로모픽'이라고 하면 직접적인 칩설계 및 생산 쪽과도 같이 일할것 같은 느낌으로, 좀더 인더스트리와 연계가 잘된 느낌이 난다. 이 두 용어는 교집합이 없지 않지만 기본적으로 매우 달라 보이는데, 현재 나는 그 landscape에 대해 잘 이해하고 있는 상태는 아니다.

Jaeger의 MINDS 랩에서는 아날로그컴퓨팅을 어렵게 하는 여러 가지 장벽들을 살펴보는 문제설정을 해서 논문으로 풀어나가고 있다. 이러한 학술적 관심사를 저전력 뉴로모픽 컴퓨팅에서의 실질적인 문제해결으로까지 이어가고자 하는 듯하다. 논문이 자주 나오는 편은 아니다. 비슷한 일을 하는 연구실들과 회사들도 좀더 찾아보고 알아두려고 한다.

Herbert Jaeger 구글 스콜라 페이지: 링크

Herbert Jaeber의 MINDS 랩 홈페이지: 링크

Facebook에서 이 글 보기: 링크

[강연정보] 학제적 분야에서 경험적 정당화의 형식 (사회학과 손윤규 교수)

사회학과 손윤규 교수님께서 "학제적 분야에서 경험적 정당화의 형식"이라는 주제로 강연을 하신다. 자연과학과 사회과학의 방법론을 비교하고 교류를 모색한다는 점에서 재미있는 세미나일 것 같고, 메타적인 합리성을 추구하는 작업으로 의미가 있어보인다. 정작 나는 이번에도 저 날에 출장 중일 예정이라 못 간다. 연구소 측에 연락해서 발제문이나 발표자료를 주실 수 있을지라도 한번 여쭤봐야겠다.

마침 다루는 사례도 우리 통계물리분야와 뗄래야 뗄 수 없는 네트워크과학 쪽이라고 하니 더 관심이 간다. 실제로 우리분야에서 네트워크 이론 연구하시는 분들이 사회과학적 주제에 대해 결론을 도출할 때 그것을 어떻게 수용해야 하며, 사회과학에서의 네트워크 분석과는 어떻게 다를지, 그 각각이 얼마나 엄밀한 것일지 등이 늘 궁금하기도 했다.

연사이신 손윤규 교수님은 사회학과에서 네트워크분석을 하는 분인데, 찾아보니 실제로 복잡계 네트워크이론 학자 분들과 공동연구를 하셨기도 하다 (추가: 나중에 알게 된 바로는 아예 물리학 백그라운드를 가지신 분이다). 학제적 연구를 실제로 직접 하시면서 느낀 점을 바탕으로, 이렇게 메타적(?)인 주제를 다루면서도 고유의 내용이 있는 세미나가 기획된것이 아닐까 한다.

Facebook에서 이 글 보기: 링크

____________________

2022년 제6회 월례세미나(Frontiers in Social Science)

“학제적 분야에서 경험적 정당화의 형식”

학제적 패러다임의 등장과 함께, 서로의 영역을 거의 침범하지 않았던 채로 형성된 자연과학 전통 하의 경험적 정당화 방식과 사회과학 경험 연구에서 표준적인 정당화 절차로 여겨졌던 방법론은 공존, 혼재, 혹은 충돌하게 되었다. 이 발표에서는 사회과학과 자연과학에서의 경험 자료에 대한 인과적 설명 및 이론 검정 방식이 확률적 메커니즘에 대한 가설 연역적 논증을 구성하는 데에 있어서 근본적인 차이를 보임을 밝히고, 네트워크 과학에서의 사례를 제시한다. 이를 바탕으로, 학제적 분야에서 이질적인 분과학의 전통을 따르는 연구들이 고립된 지식 생산을 넘어서 상호 교류할 가능성에 대해서 논의한다.

- 발표: 사회학과 손윤규 교수

- 사회: 정치외교학부 안도경 교수

- 일시: 2022년 11월 23일(수) 13:00-14:30

- 참여방법: 2022년 2학기 월례세미나는 오프라인에서 진행됩니다.

- 구글폼을 통해 오프라인 참석 신청 부탁드립니다.

- 12시 45분부터 샌드위치가 제공될 예정입니다.

- 장소: 16동 M111호 사회과학연구원 세미나실

A Road to 'Science of Semantics' (의미의 과학 및 의미 엔지니어링의 가능성)

이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.

부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.

말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.

이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.

좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.

사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.

사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.

그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.

다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.

물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.

hapseda 블로그에서 이 글 보기: 링크

Facebook에서 이 글 보기: 링크

Coupled Oscillator and Kuramoto Model

하단에 embed된 Coupled oscillator 및 Kuramoto model에 대한 자료는 2019-2 서울대학교 전기정보공학부 <비선형제어특론(심형보 교수님)> 강좌에서 발표 진행을 위해 정리한 자료로, Francesco Bullo의 책 <Lectures on Network Systems>의 제17 장의 내용을 정리한 결과이다.

(추후 LaTeX documentation 예정)

Centrality Measures of Graphs: Mathematics, intuitions, and some notable issues

그래프의 중심성 척도: 수식, 직관, 그리고 몇 가지 주목할 만한 사항들

하단에 Embed된 pdf 파일은 2019-2학기 전기정보공학부의 '비선형제어특론'(심형보 교수님)의 수업을 통해 Francesco Bullo의 책 <Lectures on Network Systems>를 기반으로 하여 제작하게 된 발표자료이다. 그래프(혹은 네트워크)에서 어떤 노드가 구조적으로 중요한 역할을 하는지 측정하기 위한 다양한 지표들(중심성 척도, 중심도)에 대해 공부하여 개략적으로 정리하였고, 가능하다면 응용 사례도 첨부하고자 하였다.

첫째로 가장 기본적이라고 할 수 있는 차수 중심도(Degree centrality)는 각 노드가 몇 개의 간선(edge)을 가지고 있는지 세어 주는 것이다. 복잡 네트워크 과학 분야의 역사적 발달에 있어서, 차수 중심도의 분포가 멱법칙을 띠는 네트워크인 '척도 없는 네트워크'에 대해 A.-L. Barabasi, R. Albert, H. Jeong 등이 수행한 일련의 연구가 중요한 역할을 하기도 하였다.

고윳값 중심도(Eigenvalue centrality)는 특정 노드의 중심성을 평가할 때, 그 주변 노드의 중심성까지 고려하겠다는 철학으로 개발되었다. 각 노드의 중심도를 구하는 방정식이 고윳값 방정식의 형태를 보인다는 점에서 이와 같이 이름붙여진 것 같다. 주변 노드의 개수뿐 아니라, 주변 노드의 중요성 또한 자신의 중요성에 영향을 미치게 된다. 한편 카츠 중심도(Katz centrality)의 경우 차수 중심도와 고윳값 중심도의 특징을 합쳐 놓은 것이라고 할 수 있다.

다음으로 다룰 페이지랭크 중심도(PageRank centrality)는 구글의 창업 기반이 된 것으로 유명하며, 검색 순위 결정을 위해 각 웹 페이지의 유명세를 평가하는 데 사용되었다. 재미있게도 발명자이자 구글 창업자인 래리 페이지(Larry Page)의 이름을 따서 명명된 것이라고 한다. 페이지랭크 중심도의 철학은, (i) 어떤 웹 페이지가 유명한 페이지에게 인용당할수록 더 높게 평가되는 것, (ii) 무차별 수집가(collector, 수많은 페이지를 인용하는 페이지)보다는 세심한 비평가(delicate critic, 적은 수의 페이지만 선별하여 인용하는 페이지)에게 인용당할수록 더 높게 평가되는 것으로 요약될 수 있다.

마지막으로 다룰 Betweenness centrality(BC)와 closeness centrality(CC)의 가장 큰 특징은, 그 정의상 노드 1개의 중심성을 평가하는 데에 네트워크 전체가 직접적으로 involve되는 것이라고 할 수 있겠다. 네트워크 상에서 정보가 전달된다고 보았을 때, 특정 노드를 대체할 만한 경로가 없어 '병목 현상'이 일어날 경우 그 노드는 큰 BC 값을 가지게 된다.

한편, 네트워크는 spatial embedding을 가지고 있지 않은 구조이지만 노드간의 거리를 통해 대략적인 '지름'를 정의할 수 있는데, CC는 그 척도라고 할 수 있겠다. 어느 노드를 중심으로 CC를 평가하느냐에 따라 지름이 다르게 평가되게 되며, 지름이 작을수록 해당 노드는 전체 네트워크와 밀접하게 연결되어 있다는 뜻이 된다.

[Review] Scale-free Networks: Historical view

[리뷰] 척도 없는 네트워크: 역사적 조명

  1990년대 후반에서 2000년대 초반 동안에 물리학계에서 급격히 성장한 복잡계 연구, 그 중에서도 복잡 연결망(complex network)에 대한 연구는 비단 물리학 내에서뿐만 아니라 생물학, 공학 등의 인접 분야에도 그 영향을 발휘했으며, <링크> 등의 서적을 통해 대중적으로 널리 알려지기도 했다.

  그 과정에서 가장 주목받은 학자 중 한 명은 (<링크>의 저자이기도 한) 알버트-라슬로 바라바시(Albert-Laszlo Barabasi)일 것이다. 그는 1999년부터 2000년대 초중반의 기간 동안 레카 알버트(Reka Albert), 정하웅(Hawoong Jeong) 등의 학자와 공동으로, 다양한 실제 시스템에서 관찰되는 '척도 없는 네트워크'(scale-free network), 그리고 그러한 네트워크를 절차적으로 생성하는 무작위성을 가진 수학적 모형인 '바라바시-알버트 모형'(Barabasi-Albert model, BA model)과 관련된 일련의 유명한 논문들을 발표하였다([1]-[4]).

  이러한 일련의 논문들을 통해 척도 없는 네트워크는 그 이론적 특성의 골자가 정리되면서 대표적인 네트워크 모델로 확립되었고, 해당 논문들 중 많은 수가 2019년 현재를 기준으로 각각 수천 회 이상의 높은 인용(citation) 횟수들을 보이면서, 해당 연구 패러다임이 복잡계 과학의 발전에 주도적인 역할을 하였음을 증언하고 있다.

  조금 더 구체적으로 살펴보자면, 월드 와이드 웹(World-Wide Web)을 복잡 네트워크로 간주하고 분석하여 그 척도 없는 성질(scale-free property), 그리고 웹 문서간 거리의 가까움을 밝힌 1999년도의 논문[1]을 해당 패러다임의 시작점으로 볼 수 있다. 척도 없는 성질이라고 함은, 연결선 수의 분포 \(P(k)\)가 다음과 같이 \(2 < \gamma < 3\)인 멱법칙(power law)을 따름을 의미한다.
\[ P(k) \propto k^{-\gamma} \]

  다음으로, 척도 없는 네트워크를 절차적으로 생성해 낼 수 있는 바라바시-알버트 모형이 같은 해에 제안되었다[2]. 점이 하나씩 추가되어 기존의 네트워크에 연결되는 방식으로 성장(growth)하는 네트워크에서 선호성 붙임(preferential attachment, 부익부 규칙이라고도 함)을 규칙으로 삼을 때 척도 없는 성질이 나타난다는 것을 해석적으로 밝힌 이 논문은 2019년 현재를 기준으로 3만 회 이상의 매우 높은 인용 횟수를 나타내는 등, 역사적으로 중요한 의미를 가진다고 간주된다.

  [3]에서는 네트워크에 새로운 node가 추가되어 growth가 일어나는 것을 미분방정식으로 나타냄으로써, 바라바시-알버트 모형에 의해 생성되는 네트워크가 가지는 scale-free property에 대한 해석적인 설명이 제공된다. 논문 제목에 mean-field가 언급되고 있는데, 내용 상으로 보았을 때 mean-field approximation이 일어난 부분은 바로 바라바시-알버트 규칙에 의해 정해지는 a priori probability와, 실제 생성된 네트워크에서의 frequency가 같다고 가정함으로써, 생성될 수 있는 네트워크의 variation을 없앤 부분일 것이다. 이렇게 함으로써 모든 네트워크를 고려하는 것이 아니라 마치 '1개의 평균적인 네트워크'를 고려하는 것처럼 논의를 전개할 수 있게 된다.

  이렇게 1999년을 기점으로 학계에 알려진 척도 없는 네트워크는 2000년대에 접어들면서 더욱 많은 학자들에 의하여 더욱 활발하게 이론적으로 연구되어 그 특성이 정리됨과 동시에 실제 시스템에 대한 분석의 틀로도 활발히 적용되었으며, 특히 생물학 분야에의 적용이 두드러졌다. 효모의 단백질-단백질 상호작용 네트워크를 연구한 논문[4]에 수록된 아래의 도식은, 네트워크 과학 분야에 관심을 가지고 찾아본 사람이라면 종종 보았을, 꽤나 상징적인 도식이기도 하다.

  이러한 과정을 거치면서 발달된 척도 없는 네트워크 모형은, 비슷한 시기인 1998년에 제안되어 역시 많은 주목을 받은 왓츠(Duncan Watts)와 스트로가츠(Steven H. Strogatz)의 좁은 세상 네트워크(small-world network) 모형, 1950-60년대에 수학계에서 제안된 전통 있는 무작위 네트워크 모형인 에르되시-레니(Erdos-Renyi) 모형 등과 함께 복잡계 과학의 한 축을 이끌어 왔다고 볼 수 있을 것이다.

[1] R. Albert, H. Jeong, A.-L. Barabasi, 'Diameter of the world-wide web', 1999.09.

[2] A.-L. Barabasi, R. Albert, 'Emergence of scaling in random networks', 1999.10.

[3] A.-L. Barabasi, R. Albert, H. Jeong, 'Mean-field theory for scale-free random networks', 1999.10.

[4] H. Jeong, S. P. Mason, A.-L. Barabasi, Z. N. Oltvai, 'Lethality and centrality in protein networks', 2001.05.