MOF와 나노테크: 다학제 분야로서의 구획과 그 과학기술사회학

2025년에 노벨화학상을 받은 주제인 MOF(금속-유기 골격체)에 대해 뒤늦게 조금 접할 기회가 있었다.

MOF는 1g 안에 축구장 몇개 넓이의 표면적이 있는 새로운 종류의 물질군이라고 한다. 프랙탈을 소개할 때 유명한 '해안선'의 예시에서 보듯이 표면적이라는 것도 측정하기 나름이지만, 아마 분자~고분자 크기 입자들이 얼마나 달라붙을 수 있는지를 측정하는, 말하자면 유효 반응 단면적(?) 같은 것을 기준으로 한 게 아닐까 싶다.

근본적으로 다학제적이며 그 경계도 조금 모호한 나노과학이라는 분야에서 가장 유명한 격언을 꼽자면 아마도 리처드 파인만의 "There is plenty of room at the bottom", 즉 "바닥에는 아직 충분한 공간이 있다"일 것이다.

내가 영어 native 화자가 아니어서 정확하진 않으나, 여기서 room이 말하는 바는 아마도 '공학적 엔지니어링을 할 여지와 기회의 크기'인 것 같다. 그런데 만약 room을 그게 아니라 literally 물리적 공간의 크기로 생각한다면, 마치 도라에몽 주머니와도 같은 MOF가 바로 위 격언에 매우 잘 어울리는 예시가 아닐까 생각이 든다.

개인적 생각이지만 나노테크에 해당한다고 간주되는 여러 분야 및 대상들을 가장 넓게 묶어주는 특징은, 바로 전기적, 기계적, 재료적 성질 중에 둘 이상의 경계가 모호해진다는 것 아닐까 한다. 물론 이는 나 혼자서 생각해 본 것이라서 부정확하거나 예외가 있을수 있다.

내가 한때 관심 가졌던 과학기술학적 문제는 '사이버네틱스'(cybernetics)라는 것울 과연 '분야'로 보아야 하는지, 아니면 어떤 강령 하에 전개된 운동(movement)에 가깝게 보아야 하는지에 대한 문제였다. 나노테크에 대해서도 비슷한 생각을 해 볼 수 있다.

명백히 movement에 가까워 보이는 사이버네틱스에 비해 나노테크는 훨씬 더 '분야'에 가까운 듯하지만, 파인만의 유명한 격언과 몇 가지 계산들에 의해 주목받고, 에릭 드렉슬러가 큰 그림을 제시한 저술 《창조의 엔진》이 대중적으로도 히트를 치고 관료들에게도 어필되면서 미국 과학정책에 의해 드라이브가 걸린 일련의 구체적 과정이 있기는 하다.

그러나 내용적인 면에서 실제 나노테크의 실현은 드렉슬러가 제시한 경로대로 일어나지는 않았다는, 혹은 드렉슬러의 구상이 애초에 원리적으로 거의 불가능했다는 지적도 본 바 있다. 과학사적/과학사회학적으로도 살펴보기 흥미로운 주제가 아닐까 한다.

Facebook에서 이 글 보기: 링크

AI의 무색무취함과 적당함, 그리고 지식정보망의 형해화 가능성

AI로 논문을 쓸 때 가짜 인용 문제가 자주 논란이 된다.

연구 단계에서 논문 추천 받을 때라면 몰라도, 연구 결과를 논문으로 작성하는 단계에서는 내 연구와 관련이 되는 일부라도 직접 정확하게 읽고 cite 해야 하는 것 아닌가 싶다. 이런 생각이 드는 걸 보면 난 아무리 AI 시대를 재미있어한다고는 하지만 결국은 텍스트에 대한 고전적 개념을 매우 중요시하는 인간인 듯. 나아가서 앞으로는 자동화할 수 있는 읽기, 쓰기 및 계산도 '굳이 사람의 능력으로 해 보며' 인간의 그런 능력을 유지하는 것이 학자 집단의 역할이 될 수도 있다고 생각한다. 나도 그 중 하나가 될 수 있으려나.

어쩌면 참고문헌이라는 것은 이젠 정말로 '참고가 된 문헌'이라기보다는, 내 논문이 지식정보망의 어디쯤에 어떠한 맥락으로 위치해 있다는 것을 느슨하게 표명하는 장치 정도가 되어가는 것일지도 모르겠다.

물론 원래도 참고문헌에는 그런 기능이 당연히 있고 또한 그런 기능이 매우 중요하다. 실제로 scientometrics나 science of science에서 citation network를 통해 지식정보망과 지식의 발전경로를 파악하는 것은 매우 많이 하는 일이다.

근데 인간의 '쪼'가 들어가지 않고 느슨하게만 관련이 있는 '무색무취한', '적당한' 인용들이 AI 때문에 폭증하게 되면, 우리가 잘 인식하지 못하는 사이에 그렇게 재구성된 지식정보망의 질조차 종국에는 많이 떨어지지 않을까 싶다. 그런데 양이나 속도 면에서는 AI가 압도적이니, 결국 인류가 쌓아온 방식은 뒤안길로 금세 밀려나서 불필요한 것이 되고, 그런 느슨하고 적당한 방식이 압도하게 되지 않을까 걱정이 있다.

예컨대 분야 상으로는 내 연구와 크게 상관 없어 보이는 어떤 논문의 특정 부분에 큰 영감을 받아서 연구가 진행되었거나, 혹은 나중에 알고 보니 다른 분야의 논문에서 내 생각과 비슷하고 formal한 연관성도 있는 아이디어를 이미 제시한 부분이 있었을 때, AI가 과연 그런 인용을 자동으로 찾아낼 수 있을까? 그리고 그런 이례적인 경우들 외에도, 내 연구가 어느 지형 위에 놓여 있다고 표명하다 보면 '학맥'이라는 것이 자연스레 형성되게 되는데 AI가 분야의 유사성, 연구대상 유사성만을 바탕으로 정보를 취합하다 보면 그런 패러다임적인 것들이 형해화되지 않을까?

그리고 이 모든 것을 잘 한다고 하더라도, 논문 작성 단계가 아니라 논문 다 마무리하고 나서 형식을 갖추기 위해서 한다면 결국은 흉내가 아닐까? 독해력과 문제의식을 갖춘 사람이 봤을 때 그게 납득이 갈까? 이런 생각들이 든다.

물론 새로운 기술적 매체가 등장하면서 내용의 복제가 간편해지면 늘 거대한 양적 확대가 일어나고, AI 또한 의미론적인 영역으로까지 고도화된 복제 및 정보처리 장치라고 할 수 있으니, 이러한 적당하고 느슨한 인용이 더욱 발전하고 양적으로도 확대되면서 인간이 모르던 새로운 방식으로 지식의 구조가 떠오를 수도 있다. 그렇게 인간이 직접 자신의 정신을 개입시켜서 작성하는 텍스트의 가치가 낮아지는 것이, 나중에 나올 무언가를 위해 꼭 필요한 일일 수도 있기는 하다. 그러나 일단 지금 생각으로는 AI 특유의 '적당함', 그리고 인간의 안이함 때문에, 정보처리의 세밀함이 당분간은 계속 낮아지지 않을까 한다.

Facebook에서 이 글 보기: 링크

LG EXAONE에 대한 linear representation hypothesis 분석 실습

LG AI Research의 LLM인 EXAONE에 대해 linear representation hypothesis (LRH) 분석을 해보았다.

LRH (Kiho Park et al., ICML 2024)는 언어모델 속에서 개념들(영어=>독일어, 나라=>수도 등)이 벡터공간 속의 '방향'으로 일관성있게 (즉 어느 점에서 출발해도 똑같게) 대응된다는 가설이다. 이에 따르면 우리가 어떤 단어나 문장을 특정한 의미를 강하게 가지도록 edit하고 싶을 때, 해당하는 '방향'만 찾아서 그 방향으로 걸어가기만 하면 어느 시작점에서건 원하는 대로 편집이 가능하다.

머신러닝은 곧 의미, 피쳐, 표현에 대한 엔지니어링이고 그렇기 때문에 재미있고 성공적이라고 믿는 내 관점을 가장 단적으로 드러내어 주는 연구 같아서 개인적으로 매우 좋게 생각하고 있고, 실제로도 잘 알려진 논문이다 (여담이지만 1저자는 나의 중학교시절 자랑스러운 강동교육청 영재교육원 동기이기도 하다. 당시 학기말 프로젝트도 같은 조였던 기억이 난다). 이런 식의 생각은 사실 최소한 Word2Vec 때부터 현실화되기 시작했다 (king + (male - female) = queen). 그러나 저자들은 LRH의 정확한 정의를 상당히 clever하게 내리고, 다음으로 LLM이라는 극도로 scale-up 되었으며 (임베딩뿐 아니라) 생성 능력도 가지고 있는 시스템에 대해 LRH를 실제로 확인할 수 있는 방법을 제시한다. 이 방법에서 가장 중요한 것은 'causal inner product'로, 의미적으로 서로 상관없는 개념들이 모두 서로 수직 (내적이 0)하게 된다. 임베딩 공간과 언임베딩 (contextualization) 공간을 정렬시켜주는 이 내적은, 임베딩공간의 전체 vocabulary를 바탕으로 구성되는 어떤 행렬을 통해 매우 간단하게 실제로 찾아질 수 있다.

원래 논문에서는 Llama-2를 이용해서 연구를 진행했다. 그런데 EXAONE에 대해서 LRH를 확인하려니 (일단 로컬에 llm을 로드해보는것 자체가 처음이기도 했고) 사소하다면 사소하고 중요하다면 중요한 챌린지가 있었다. Llama-2와 EXAONE의 토큰화 전략이 다르므로, 논문에서 제공된 예시 단어 쌍들의 대부분은 EXAONE에서 여러 토큰으로 쪼개져있다. LRH는 single token에 대해 확인하도록 되어 있으므로, EXAONE에 대해 대부분의 단어는 invalid하여 매우 듬성듬성한 결과만이 나온다.

이를 해결하기위해, LLM(연구대상인 EXAONE 말고 assistant인 cursor를 통해 이용한한 다른 LLM)의 어휘력을 활용하여, 각 concept direction별로 아주 많은 수의 후보 단어 쌍을 얻고, 그 쌍들 중 양쪽 단어 모두가 EXAONE 토크나이저에 의해 single token으로 나타나는 경우만 골랐다. 그 결과, 원래 논문의 2000여 쌍보다는 현저히 적긴 하지만 303개 단어 쌍을 얻었고 여기서 LRH가 성공적으로 확인되었다.

그런데 그렇다면, LRH의 확인과 그 하에서의 문장 편집은 오로지 single token 단어들에 대해서만 수행될 수 있는 것인가? 여러 토큰으로 된 단어나, 아예 여러 단어로 된 phrase의 경우는? 이를 해결할 수 있는, 간단하면서도 LRH의 철학 및 LLM의 구조에 native한 아이디어를 가지고 있는데 아직 실제 테스트해보지는 못했다. (성공하면 추가 공유)

이 과정 전체에서, AI를 코딩 어시스턴트에 그치지 않고 단어 예시를 편리하고 방대하게 뽑아주는 조수로 사용한 경험도 재미있었다. '말에 대한 공학을 말로 하는', 내가 꿈꾸고 기대하던 시대가 일정 정도는 실제로 도래했다고 보인다.

LinkedIn에서 이 글 보기: 링크

Facebook에서 이 글 보기: 링크