게시물 목록

Saturday, October 29, 2022

A Road to 'Science of Semantics' (의미의 과학 및 의미 엔지니어링의 가능성)

이건 그야말로 잘 모르면서 하는 순전한 상상이기는 한데, 최근 머신러닝 분야의 발전과 발맞추어서, 그런 머신들이나 우리들의 두뇌 속에 '의미'가 어떤 방식으로 존재하며 그것을 어떻게 엔지니어링할지에 대한 학문 분야가 발달하게 된다면 굉장히 재미있을 듯하다.


부전공에서 '기호학'이라는 키워드를 알게 되어서 이래저래 찾아봤던 바로는, 특히 철학 쪽에서 이런방향을 지향하며 지적 고속도로를 깔아 두는 탐구들이 예전부터 이미 활발히 있어 왔기는 하며, 이들은 과학기술과의 협력에도 굉장히 적극적이다. 그런데 최근에 인공지능 분야의 발전에 힘입어 우리가 지능시스템을 어떻게 '뜯어봐야' 할지에 대한 효과적인 개념적 틀이 점점 생겨나고 있으니, 계기만 있다면 이러한 분야가 훨씬 더 폭발적으로 발전하지 않을까 한다. 이공계 쪽에서는 내가 종종 언급하는 스탠포드의 Surya Ganguli 그룹이 어느 정도 이런 걸 지향하고 있는것 같기도 하다.


말하자면 수량화된 기호학이라고 불릴만한 이러한 '의미 엔지니어링' 분야가 더욱 발달하게 된다면 계산신경과학과 인문학 최전선의 협력이 될것이며, 이러한 분야는 분명히 '공학'인데도 불구하고 상징과 직관의 찬란한 언어가 오가는 독특한 색채를 갖게 되지 않을까 한다.


이러한 의미 엔지니어링이라는 단어와 그 가능성은 다름아닌 영화 《인셉션》을 보고 나서부터 내 머리속 한곳에 늘 자리잡고 있던 것인데... 최근의 발전들을 보다 보니 이것이 그저 SF적인 상상이 아니며, 내 생애 안에 그런 비슷한 건 충분히 가능해질 수 있겠다는 생각이 들었다. 얼마만큼 그 존재를 신뢰해야 할지 모르겠지만 최면이나 자각몽 같은 각종 비일상적 정신상태도, 결국은 휴리스틱하게 해왔던 일종의 정신 엔지니어링이 아닌가.


좀 다른얘기일지 모르지만 자연어처리 쪽에서 GPT-3으로 대표되는 거대 언어 모델(Large language model)들도, 단지 그럴듯한 말을 적당히 흉내내는걸 넘어서 상당 수준의 reasoning 즉 논리적 기능이 자연스레 창발한다는게 보고된 것으로 알고 있다.


사실이라면 그런 기계들도 어느 정도 논리성, 합리성을 갖추고 결이 맞는 언어생성기제를 내적으로 갖출 수 있다는 것인데 (그리고 그 능력의 유무는 '정도의 문제'가 될수 있다는 것인데), 그 속에서 각 단어들의 의미가 어떻게 인코딩되고 인출되는지를 뜯어보고 실제 생물체와 비교할수 있다면 재밌을 것이다. 특히 실제 생물체들은 의미의 추상적 부호화가 시청각적 직관과 막 뒤섞여 있을거 같은데 반해서, 자연어처리 기계들은 그렇지 않을 것 같기도 하고.


사실 최근의 거대 언어 모델까지 가지 않고, 머신러닝 붐 초창기에 많은 사람들이 신기해했던 word2vec 같은 임베딩만 봐도 의미의 수량적 분석 가능성은 예고되어 있었다고 봐야 할 것이다. 단어들을 벡터공간 속 좌표로 임베딩했을 때, 예컨대 king에서 male을 빼고 female을 더했더니 queen이 나오더라 이런 것 말이다. 물론 실제 의미부호들의 존재방식과는 거리가 있을 것 같은 초등적인 부호화지만 아무튼 그렇다.


그리고 추상적인 의미들일수록 뇌 속의 네트워크에 보다 '분산적으로' 저장되어있을 듯한데, 그런걸 뜯어보면서 identify하고 사람마다 비교하려다 보면 지난 20년간 인터넷의 연결망 구조 분석 등으로부터 발전해온 '복잡계 과학' 및 네트워크 사이언스가 다시 한 번 크게 주목받을 수 있어 보인다.


다른 한쪽 극단으로 가 보자면 생명이나 안전에 관련있다던지 해서 좀더 본능에 가까운 대상들의 의미론은, 보편적인 의미 저장/인출 망으로서의 뇌에 소프트웨어적으로 올려진 것이 아니라 보다 낮은 레벨에 있는 '전용' 뇌 부위에 따로 저장돼있는게 아닐까 상상도 해본다. 특히 평소에 사람들의 언어생활 (그리고 언어생활에 발생하는 전형적인 결함의 패턴들) 을 보다보면 욕설이나 성적인 단어 같은 건 일반적인 단어들과 좀 다른방식으로 저장되고 인출되는것 같다는 느낌이 든다.


물론 전술했듯이 이런 건 아무것도 모른 채로 하는 상상이고... 또한 위에서는 언어 위주로 썼지만 의미라는 게 꼭 순전히 언어적인 것일 필요도 없고 비언어적인 시청각적 archetype들과도 막 섞여 있을 것 같고. 아무튼 앞서나가는 분들에 의해 이미 제대로 된 판이 깔려있을 것 같긴 하다. 취미삼아 follow-up해 보아야겠다.


Facebook에서 이 글 보기: 링크

No comments:

Post a Comment