점점 각광받는 디퓨전 모델(diffusion model)

생성모델 분야를 매일같이 혁신하고 있는 학습 스킴인 diffusion model 쪽에서 유명한 Yang Song (Google scholar: 링크, 개인 홈페이지: 링크) 이 이번에 스탠포드 박사 졸업 하시면서 바로 칼텍 교수로 임용되신 듯하다.

이 분이랑, 스탠포드 Ganguli 그룹(홈페이지: 링크)의 여러 alumni 및 그 근처 동료 분들(S.S. Schoenholz, J. Sohl-Dickstein, J. Pennington, Jaehoon Lee 등)이, 수학 및 물리학을 바탕으로 머신러닝을 이론적으로 연구하면서 FAANG에도 걸쳐 있을 수 있는 멋진 포지션 창출의 제일 모범적이고 성공한 케이스들인 것 같다.

Ganguli 그룹에서는 디퓨전 모델은 사실 극히 일부분이고, 기존 딥러닝 이론에 물리 적용하는걸 꾸준히 다양하게 하시며, 인공지능뿐 아니라 생체 신경망의 정보 인코딩에 대한 이론적 분석 같은 것도 활발히 하시는 듯. 어째 다 스탠포드네....

나도 9월 초에 논문초안 내고 나면, 네이버웹툰 지인이랑 같이 올해 초에 디퓨전모델 스터디 하던 걸 자투리시간에 마무리 해서 블로그에 정리나 해둘 생각이다.

- diffusion model 기초: 물리학의 시야에서

- diffusion Schrödinger bridge

- Riemannian manifold에서의 diffusion model

- 미학적(?) 함의

아무튼 우리 분야로부터 강하게 inspired된 방법론인 디퓨전모델이 재작년부터 점점 뜨더니 위에 말한 스터디 그만뒀던 한 반년도 안 되는 사이에 대중적으로도 많이 알려질정도로 커다란 성공을 거둬서 기쁜마음 반 초조한마음 반임.

초조한 이유는 디퓨전모델이 워낙 각광받다 보니 이제 머신러닝 피플이 비평형통계물리 계산을 우리들보다도 잘하게 되는게 시간 문제겠다 싶어서 ㅋㅋ 현재 이론물리의 정수이자 에쎈스는 장론이랑 RG라고 생각하는데 이들도 혹시 IT 최전선에 응용돼서 빼앗기기(?) 전에 깊게 공부해서 저점매수 해 두어야겠다. 실제로 이미 응용의 시도들도 파편적으로 꽤 있고.

난 교양수준이긴 하지만 크리에이티브한 작업의 assistant로서의 머신러닝에 늘 관심이 제일 많은 편이다. 세계의 근본 요소가 아니라, 세상에서 어쩌다 생겨난 여러가지 것들에 대한 '법칙 아닌 법칙'(말하자면 패턴?)들을 경험적으로 파악해서 재조합하는 걸 전통적으로는 예술가와 그 조수들이 잘 했는데, 머신러닝이 잘 하는. 것도 딱 그런거고. 그렇게 파악된 '법칙 아닌 법칙'을 뜯어보는 것에 내가 원체 관심이 많기도 할 뿐더러, 그런것들이 역으로 각 부문별 창작활동이란 과연 무엇인지에 대해 더 깊은 이해까지 제공할수 있다고 생각함.

DALL-E 2나 Midjourney 등으로 요즘 핫한, diffusion model의 예술창작 같은 경우도 그래서 매우 맘에 든다. 그런데 이것은 결국 블랙박스 단계를 넘어 semantic 및 style을 체계적이면서도 쉽게 이해, 추출, 변경 가능해질 때에 지금보다도 더욱 커다란 비즈니스적 breakthrough가 생길것 같음. 별로 챌린징한 태스크는 아닌 것 같고 (통합적으로 예쁘게 안된다면 덕지덕지 붙여서 만들면 되니까) 돈 많이 될 테니까 아마 금세 누가 만들겠지.

Facebook에서 이 글 보기: 링크