[강연정보] Stochastic gradient descent as anomalous diffusion (비정상 확산으로서의 확률적 경사하강법)

U Simsekli 교수님의 초청강연 정보를 뒤늦게 알게 되었다. Simsekli는 딥러닝에 쓰이는 확률적 경사 하강법(stochastic gradient descent, SGD)를 heavy-tail을 갖는 확률과정으로 취급하고 (혹은 그럴 수 있다는 것을 정당화하고), 이것을 바탕으로 SGD의 일반화 성능을 설명하는 연구를 하는 분이다. 통계물리학 분야에서는 그러한 확률과정을, 가장 잘 연구된 브라운 운동(Brownian motion)과는 다르다는 의미에서 anomalous diffusion (비정상 확산) 이라고 부른다.

이분 논문을 직접 쭉 읽어본적은 없지만 ML theory 쪽으로 검색을 하다보면 이름이 종종 보이고, 이런저런 세미나에서도 이분 논문 소개를 여러차례 들었었다.

SGD가 어떤종류의 확률과정이며 어떻게 좋은 minima를 찾아가는지에 대한 기초연구는 기본적으로 응용수학의 영역이지만, 비평형 통계물리 백그라운드를 가진 연구자들도 실제적인 확률적 동역학계에 대해 축적된 지식이 많다 보니 escape problem 등의 관점에서 조금씩 기여를 한다.

이러한 주제는 교수님께서 종종 추천해 주시고, 나로서도 비록 교양 수준이지만 관심이 많이 가는지라 세미나에서 몇번 발표해 봤던 주제이기도 하다. 강연 정보를 진작 알았다면 쭉 들었을텐데 아쉽고 마지막 회차라도 꼭 들어봐야겠다.