게시물 목록

Saturday, October 29, 2022

A Road to 'Science of Semantics' (의미의 과학 및 의미 엔지니어링의 가능성)

이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.


부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.


말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.


이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.


좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.


사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.


사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.


그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.


다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.


물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.


Facebook에서 이 글 보기: 링크

Friday, October 28, 2022

[도서 소개] 경로적분에 대한 종합적 시야를 제공하는 책 (Chaichian and Demichev)

이론물리학의 중심 도구인 경로적분에 대해 두고두고 참고해볼 만한 책을 찾았다 (Chaichian and Demichev, "Path Integrals in Physics", 아래에 링크). 인용수도 300여 회 정도로, 상당히 쓸만한 책이라는 느낌이다.


양자역학의 기술방법으로서 리처드 파인만의 경로적분(path integral)은 물리에 관심있는 독자들을 위한 대중 과학서적에서 상당히 자주 등장하며, 어떤 입자가 움직일 때 가능한 모든 경로를 동시에 거치는데 그 경로들 중에 대부분은 상쇄되고 액션이 최소인 것만 살아남는다는, 다소간에 신비스러운 인상으로 언급된다.


그런데 사실 경로적분의 초기적인 모습은 파인만보다 훨씬 이전으로 거슬러올라가, 모든 점에서 미분불가능한 경로를 갖는 무작위 움직임인 '브라운 운동'을 수학적으로 정식화한 Wiener의 기여 (그래서 브라운운동을 수학 쪽 사람들은 Wiener process라고 부른다) 가 그 시작으로 비정되기도 한다. 이것이 디랙, 파인만 등에 의해 라그랑지안과의 연관성이 지적되면서 고도화되고, 양자역학 및 양자장론에 성공적으로 적용되면서 이론물리학에 많은 발전을 가져다주었다고 영문 위키백과에서는 설명하고있다.


그리고 90년대 이후로 발전한 현대적인 비평형 통계역학에서도, 입자가 특정 경로를 겪을 (고전역학적) 확률을 Onsager-Machlup 경로확률로 기술한다. 이는 통계역학적 관심사라는 점에서 Wiener의 직접적 후신이라고 할 수 있을것이며, 평균된 엔트로피가 아니라 '확률변수'로서의 엔트로피를 정의하는데에 쓰이는 매우 중요한 양이다. 또한, 희귀한 현상의 발생빈도를 말해주는 rate function을, 통계학에서 나오는 generating function의 르장드르변환으로써 구하게 해주는 large deviation theory의 관점에서도 이러한 경로확률을 바라볼수 있다.


그런데 Braket notation을 쓰면 통계역학에서의 이러한 경로확률이, 양자역학의 경로적분에서 말하는 propagator와 거의 비슷한 양이라는것이 드러난다. 이렇듯 경로적분은 양자역학뿐만 아니라 고전역학, 통계역학 등 여러가지 이론체계 각각에서 매우 유용할뿐 아니라 그것들 사이의 깊은 링크를 제공해서 서로 통합적으로 조망할 수 있게 해 주므로, 전술했듯이 이론물리학의 가장 중심적인 도구라고 해도 과언이 아닐듯하다.


이 책의 Volume 1에서는 random walk부터 시작하는 경로적분의 elementary한 construction과, 양자역학(quantum mechanics)에서의 경로적분을 다루고있다. Volume 2에서는 양자장론(quantum field theory) 및 통계물리학에서의 경로적분을 다루고, 마지막으로 Parisi와 Wu에 의해 도입된, 양자장론의 stochastic quantization까지 소개한다. 이들 각각의 픽쳐 내에서 잘 쓰인 책은 많이 있지만, 이 책은 내가 늘 쓸데없이 많이 궁금해하는 부분인, 서로 다른 픽쳐들 사이의 링크를 명시적으로 제공해줄것 같아서 기대된다.


<도서 정보 링크>

Sunday, October 16, 2022

능동물질 연구의 대가, M. E. Cates 케임브리지대학 루카스 석좌교수

아이작 뉴턴, 폴 디랙, 스티븐 호킹 등이 거쳐 간 케임브리지 대학의 석좌교수직인 루카스 석좌교수 (Lucasian professor of mathematics)는 2015년 이래로 마이클 케이츠 (Michael E. Cates) 교수님이 역임하고 있다.


이 분의 주 연구분야는 연성물질(soft matter), 그 중에서도 꾸준히 에너지를 소모하면서 평형으로부터 벗어난 채로 와글거리는 물질군인 능동 물질(active matter)이다. 박테리아들의 모임이나, 세포 내부의 복잡한 환경 등을 그 예시로 들 수 있다. 이러한 물질들에서는 일반적인 평형상태의 액체 및 기체에서는 나타나지 않는 상들 (작은 크기의 구멍들이 뚫려 있다거나, 유한한 크기의 방울들을 이루되 더 성장하지는 않는다거나) 이 나타난다.


Cates 그룹의 연구는 이러한 현상들에 대한 practical한 생물물리학적 모델링에 그치는 것이 아니라, 순수 이론물리에서 주로 볼 법한 미니멀한 통계장론(statistical field theory)적 접근 및 RG 해석을 적극적으로 채용하여 다양한 임계현상을 탐구하는 등 특유한 스타일을 가지고 있다.


나 같은 경우 미시적 디테일을 갖춘 사실적이고 정확한 모델링도 물론 좋지만, 미니멀한 원리와 멋있는 이론적인 포말리즘으로부터 탑다운으로 유도해나가는 걸 분수에 안맞게 무척 좋아한다. 그렇다 보니 나로서는 이런 스타일의 연구들이 꽤 마음에 든다. 이분의 구글 스콜라 페이지 (링크) 에 들어가서 보면, 최고 저널인 PRL과 PRX에만 대체 몇개를 쓰신 것인지 셀 수 없어서 놀라게 된다.


우리 지도교수님도 임용 직전까지 Cates 그룹에서 포닥을 하셨는데, Cates와 이름이 직접 같이 올라간 논문은 없지만 Cates와 늘 같이 일하는 (주로 유럽 쪽) 분들이랑 함께 논문을 여럿 쓰셨다. 나 또한 학위과정 동안, 혹은 포닥 때 이분들이랑 협업할 기회가 생긴다면 좋을듯하다.


Facebook에서 이 글 보기: 링크