https://journals.aps.org/prx/abstract/10.1103/PhysRevX.12.010501
Labels
- active matter
- analog computing
- codes
- complex networks
- graph theory
- information geometry
- information theory
- linear algebra
- logic
- machine learning
- my research life
- non-equilibrium statistical physics
- nonlinear dynamics
- optimal transport
- physics_general
- probability
- quantum thermodynamics
- Science of semantics
- soft matter
- statistical physics
- statistics
게시물 목록
Friday, March 31, 2023
비평형 능동물질과 배트맨 리턴즈: When does locality help?
Tuesday, March 28, 2023
물리, 그래픽스, AI 융합연구의 두 가지 방향
그래픽스나 컴퓨터비전 쪽을 physics-aware하게 하는 게 점점 중요해질 수 있어 보인다.
일단 이를 위한 첫번째 방법으로는, 오브젝트들을 생성하고 이동시켜주는 규칙을 최적화하기 위한 손실함수(loss function)를 잘 설계하고 이것으로 뉴럴 네트워크를 학습시켜서 '근사적으로' physics-aware하게 할 수도 있을테다. 즉 large scale 시스템을 일일이 시뮬레이션하지 않고 중요한 자유도만 살리면서도 올바른 윤곽을 흉내내게끔 하는것.
Sunday, March 26, 2023
13학번 선배들의 교수 임용 소식을 보며
전기과 학부시절 13학번 선배들 중에, 올해들어 교수로 임용되었다는 소식을 슬슬 많이 듣는다 (만 27-29세 정도). 과가 워낙 크다 보니 대부분은 직접 아는 분들은 아니긴 한데, 물론 직접 아는 분들도 있고, 분야는 주로 AI 및 AI반도체 쪽인 듯하다.
그리고 직접 인연은 없는 학과지만 수리과학부 쪽에선 우리 통계물리 분야에서 친숙한 PDE들의 수학적 성질을 보시던 13학번 분도 이번에 교수님 되셨다고 들음. 말하자면 응용수학 쪽인데 AI반도체처럼 산업에 직접 응용되는 느낌은 아니므로, 통계물리 전공하는 입장에서 꽤 참고할만한 케이스인 듯하다.
아무튼 현황이 이렇다는 것은 내년쯤이면 우리 14학번들 중에도 교수로 임용되는 분들이 꽤 생길 수도 (아니면 이미 있을 수도) 있다는 얘기다. 동갑이거나 동기인 지인들 중에서도 박사 받는 분들은 슬슬 생기고 있는데, 교수 임용은 커녕 박사 졸업하는것도 나한테는 사실 아직 하나도 와닿지가 않고 다른 세상 얘기 같다.
14학번 중에서는 누가 가장 먼저 임용이 될까? 내가 인지하고 있는 분 중에서는 컴공 14 중에 박사 미국 유학 가신 어떤 분이 학부때도 잘 하기로 유명했는데, 지금 보니 NLP 쪽에서 인용수가 3천여 회에 달하고, 강연이나 학술행사 같은 걸 할 때면 벌써 교수님들이랑 같은 급으로 섭외돼서 강연 하시고 그러더라. 이분도 졸업이 얼마 안 남으셨을 텐데, 아마 교수로 임용되시거나, 아니면 회사 쪽에 대우가 더 좋은 직책이 있으면 그쪽으로 가던가 하실 듯.
나는 이제야 첫 논문 섭밋했는데 물론 분야별 차이도 많이 있을 거고, 학부에서 이상한 거 하느라 남들보다 3-4학기 더 다닌것도 감안을 해야 겠지만... 위처럼 벌써 논문 수백 회 내지는 천몇백 회씩 인용되고 교수 임용되시는 분들을 떠나 그냥 대학원생들 평균, 혹은 회사 생활 하고 있는 친구들 평균이랑 비교해서도 뭔가 커리어의 status가 꽤 늦어지고 있는건 이제는 객관적으로 인식하고 대응해야 될 현실인 듯하다. 그렇지 않을 줄로만 알았고 실제로 그렇지 않았는데, 첫 실적이 늦어지면서 한 21-22년 기점으로 그야말로 순식간에 그렇게 되어 버린 느낌이다.
나는 인더스트리 생각을 한동안 많이 했고 지금도 막 아카데미에 꼭 남지 않으면 안 된다 이런 건 아닌데... 기본적으로 공부하고 지식 추구하는 게 제일 재미는 있는 듯하다. 그러다보니 학위과정 동안에 실적이 괜찮게 나와서 뭔가 학문적인 커리어를 잘 꾸려나갈 수 있을 거라는 생각이 들면, 그리고 좋은 환경의 포지션이 있으면 가급적 아카데미에 더 있어 보고 싶은 편이다.
만약에 그렇지 못하다면 어려운 포지션에서 너무 오랫동안 남기보다는, 물리 전공했다는 백그라운드를 잘 알아주는 곳을 잘 찾아서 취업을 하는 게 개인으로서의 팔자에 더 좋을 수가 있다.
Sunday, March 19, 2023
딥 러닝의 급속한 발전을 지켜본 학부 시절의 기억
요즈음 학부 초년생들은 딥러닝과 그것을 위한 수학 및 프로그래밍 등에 대해 어느 정도 선에서 관심을 갖고 받아들이고 있을지가 문득 궁금하다.
나는 2014년부터 학부를 다녔는데 15년쯤부터 딥러닝 얘기를 슬슬 조금씩 들었었다. 그러다가 16년에 CNN 가지고 style transfer 하는 논문 (사진 찍으면 고흐 등 여러 유명 화가들의 화풍으로 바꿔주는 것) 을 우연히 보고 처음 충격을 받았고, 비슷한 시기에 이세돌 vs 알파고 챌린지 매치로 딥러닝이 대중적으로도 확 뜨고 그랬던 것 같다 (쓰고 보니 이때 이미 초년생은 아니고 고학번이었네...).
아무튼 그 때는 내가 범접할 수 없는 최첨단 기술이라고만 생각했고, 기본적인 퍼셉트론 러닝, 즉 비선형 합성함수로 공간에 선 긋는 것부터 마치 물리 공부하듯이 수식으로만 차근차근 공부했던 기억이 있다. 미디어나 소셜 미디어에서 소개되었던 딥러닝으로 할 수 있는 수많은 마법같은 일들도, 그러한 기초적인 예제들로부터 차원만 크게 키우면 대체로 가능한 것으로서 근본적인 질적 차이가 미약하다는 것은 후술하듯이 나중에야 알았다.
그런데 어느날 동아리 방에서 회원분이 바로 그 style transfer를 코딩으로 직접 구현 및 실행하고 있는 걸 보게 되었다. 근데 그럼에도 불구하고 그 때는 그분이 정말 특출나다고만 생각했지 (실제로 엄청 뛰어난 분이긴 했다), 소스 코드가 있을 경우 그냥 다운받아 돌려보면 되는 것이라고는 생각을 잘 못했었다.
전기전자세미나 같은 세미나 수업에서 교수님들께서 multi-layer perceptron을 가지고 딥러닝 설명해 주실 때도, 우리를 위해 대단히 쉬운버전으로 이야기해 주시는 줄 알았는데, 핵심 알고리즘이 정말로 그게 전부일 거라고는 생각 못했던것 같다.
그러다가 딥러닝에 대해 좀 더 제대로 공부를 해 보게 된 것은 2018년 초에 14학번 동기인 형들이랑, 의예과 학생들 몇 명이랑 Goodfellow 책으로 스터디를 하면서다. 지금 봐도 이론적으로 불필요하게 깊게 들어가지는 않으면서, 딥러닝에 대해 다들 동의할 만한 주요 이슈들을 extensive하게 잘 다룬 책이다.
딥러닝이 오히려 일반적인 컴퓨터 알고리즘에 비해 아날로그적인 직관에 소구하는 부분이 훨씬 많고 (물론 그러한 직관이 misleading할 수는 있지만 적어도 진입장벽의 측면에서는) 저변이 무척 넓어질 수 있겠다는 것을 그때 확실히 느꼈다. 일단 어떤 종류의 과제에 대해 어떤 식으로 동작하는지 대략적인 이해를 하면, 학습이라는 행위에 대한 수학적 직관과 고차원 공간에 대한 수학적 직관을 바탕으로 결과를 나름대로 interpret하고 이런저런 개선을 해 보는 게 가능하니까 말이다.
암튼 딥 러닝은 지난 몇년간도 그랬지만 최근 1년간에는 정말로 엄청나게 빠르게 발전하고 있는 트렌드인데 (특히 생성모델 쪽으로), 요즘 이쪽 분야에 관심이 있는 학부생들의 경우 이러한 발전을 어느 정도 선에서 관심을 갖고 수용하고 있을지가 궁금하다.
즉 시간적으로만 보면 내가 학부때 기본적인 fully connected NN이랑 CNN 같은걸 접하고 최첨단 기술이라고 생각했던 거랑, 이들이 트랜스포머랑 디퓨전 모델 같은 새로운 아키텍쳐들 보면서 느끼는 거랑 비슷할 텐데, 지금은 저변이 훨씬 넓어지고 그 가능성이 차고 넘치게 증명되고 있는 상황이다 보니 받아들이는 게 훨씬 더 빠르진 않을까 이런 생각이다. 한편으로는 반대로, 최신의 모델들이 워낙 커다랗고 고도화되어 있다 보니 배경 지식이 많이 필요해서 오히려 거리가 멀게 느끼지는 않을까 생각도 든다.
아무튼 딥러닝 기초를 익히기 위해 최소한으로 필요한 수학적 배경은 다변수 미적분 (+선대) 과 함께 약간의 집합론적 사고(?) 인 듯하다. 후자는 어떻게 불러야 될지 몰라서 집합론적 사고라고 부르는 건데 정확한 표현은 아닌것 같고, 주어진 양이 수학적으로 어느 공간에 살고 있는 것인지, 그리고 주어진 함수가 어느 공간에서 어느 공간으로 가는 것인지 등을 따져볼 수 있는 능력을 말한다. 딥러닝 이론 공부에서 뭔가 헷갈릴 때엔 늘 이런 걸 생각해 보면 도움이 된다.
Saturday, February 11, 2023
이론물리학의 변방에서: 기초학문 위기 속 진로 고민과 개인적 푸념
명지대 물리학과 폐지 예정 보도가 이번주 내내 소소한 이슈였다.
연구 꿈나무들 사이에선, 국내에서 학계 근처에 자리를 잡는 게 점점 더 급속히 어려워진다는 비관적인 (그리고 거의 확실한) 예상이 이미 공기처럼 당연하게 자리잡고 있기는 하다.
그런데도 막상 명지대 정도로 이름 있는 학교에서 물리학과 (그리고 수학과, 철학과, 바둑학과) 를 없앤다는 보도가 나오니 상당히 마음이 건드려지기는 한다. 물론 학생들과 교수님들은 반대가 우세하다고 하니 아직 어떻게 될지는 모르는 것이지만, 컨설팅을 받고있는 재단쪽이 의지가 강력한 모양이다.