지난 2023년에, 한국문화예술위원회(ARKO, Art Council Korea) 다원예술지원사업에 선정된 한동석 작가님의 <다이빙 미러Diving Mirror> 프로젝트 참여의 일환으로 쇼케이스 <비전이 공간이 될 때When Vision becomes Space>에서 발제를 하고(본 블로그의 쇼케이스 소개 게시물: 링크), <표현 재조합 기계로서 딥러닝의 기술미학적 쟁점들>이라는 제목으로 발제문을 작성하였습니다(본 블로그의 발제문 소개 게시물: 링크).
해당 문제의식을 발전시켜, 올해에도 ARKO 다원예술창작산실의 지원을 받은 한동석 작가님의 개인전 <고스트 프레임Ghost Frame>에 참여하였습니다. 이번에도 지난번과 같은 제목의 쇼케이스에 참여하여 발제하였고, 전시 준비 과정에서 딥러닝의 매체성에 관련된 자문과 비평 글 작성을 진행하였습니다. 그뿐만 아니라 이번에는 직접 진행한 컴퓨터비전 실습 내용을 2분 가량의 영상으로 정리하여 전시공간에 상영하는 기회도 가질 수 있었습니다. 영상화 작업은 안소희 작가님께서 도와주셨습니다.
이 프로젝트에서는 패턴, 의미, 표현을 정량화하고 연산하는, 디지털에 근거한 새로운 아날로그 신호처리 장치로서 딥러닝이 가지는 특유의 매체성을 미학적으로 탐구하고자 하였습니다. 실습과제에서는 영상 예측 모델에 자기회귀적 구조를 도입하여 '있을법하지만 원본 없는' 가상을 만들어내고, 이러한 가상 화면들의 속성과 실패 양상을 통해 비전 모델들이 움직임, 형상, 시간 등을 어떻게 지각하는지 드러내고자 하였습니다.
아래에 세미나 및 전시를 홍보했던 소셜미디어 포스트, 전시 공간 방문 후기 및 관련 링크들을 옮겨둡니다. 준비 중인 전시 도록 또한 완성 시 링크할 예정입니다.
Last year, I participated in an art–technology project funded by ARKO (Arts Council Korea, 한국문화예술위원회). The project drew on my background in statistical physics and philosophical aesthetics, as well as my interest in deep learning as a new form of analog media sustained by the digital world—one that quantifies and operates on patterns and representations. The project included an interdisciplinary showcase <When Vision Becomes Space: The Second Seminar>, and a solo exhibition <Ghost Frame> by media artist Han Dong Seock. I hosted a session at the seminar and participated in the exhibition, which was held at Hall1 on Seonyudo Island in Seoul. Below is a brief explanation of my contribution to the exhibition. I developed an experimental computer vision practice that turns autoregressive video prediction into an aesthetic probe, using failure and overgeneralization to reveal how vision models “perceive” human motion, form, and time. The results were crafted into a two-minute video.
<비전이 공간이 될 때: 두번째 세미나 When Vision becomes Space: the Second Seminar>
최근에 참여중인 다원예술 프로젝트 협업의 일환으로 <비전이 공간이 될 때: 두번째 세미나>가 오늘 다중지성의 정원 zoom 공간에서 진행됩니다. 정신이 없어서 다소 홍보가 늦었네요.
재작년 <비전이 공간이 될 때> 세미나에서는 딥러닝의 매체성, 그리고 딥러닝이 만들어내는 불완전한 시공간 및 중간적 시공간들에 대해서 기술미학 관점의 발제문을 작성하고 발표했었습니다. 올해는 이 내용과 관련지어 진행해본 기초적인 컴퓨터비전 실습결과와 함께하는, 소박하지만 조금 더 생생한 디스커션을 준비하였습니다. 제 발표 이외에도, 각기 다른 분야의 협업자 선생님들께서 각자의 부문에서 더욱 재미있는 결과들을 보여주실 예정입니다.
그리고 이번에는 오늘자 세미나에서 이론적인 내용을 소개하는 데에 그치지 않고, 10월 17일부터 11월 2일까지 선유도역 인근 Hall1에서 <고스트 프레임 Ghost Frame>이라는 제목으로 전시까지 진행하게 되었습니다. 한동석 작가님의 개인전이지만 저도 전시장 복층 공간에 작은 영역을 할당받아, 컴퓨터비전의 경계를 탐색하는 실습결과를 간단하게 디스플레이 해둘 예정입니다.
_________
전시 《고스트 프레임 Ghost Frame》(한동석展 / HANDONGSEOCK / 韓東奭 / media)의 일환으로 10월 5일 일요일 오후 2시반 줌 세미나가 열립니다.
관심 있는 누구나 참여 가능합니다.
⠀
□ 세미나 소개
일시: 2025.10.5.일요일_2:30pm / 다중지성의 정원 온라인 세미나 공간
10월 5일 오후 2:30에 개최될 『비전이 공간이 될 때, 두 번째 세미나』는 2023년에 있었던 『비전이 공간이 될 때』를 이어 진행됩니다. “다중지성의 정원”과 협력하여 온라인으로 진행되는 본 세미나에서는 『고스트 프레임』 작가를 포함한 서로 다른 분야에서 활동하는 7명이 모여 각자의 주제를 발표합니다. 주로 본 프로젝트의 협업자들로 구성된 발표자들이 펼치는 서로 다른 주제는, 곧 이어 Hall1에서 진행될 전시 『고스트 프레임』을 구심점으로 모입니다.
오늘(10월 17일)부터 11월 2일까지 선유도역 인근 Hall1에서 진행되는 한동석 작가님 개인전 『고스트 프레임(Ghost Frame)』에 과학기술 자문 및 비디오 실습 역할로 참여하였습니다. 전시 포스터와 함께, 안소희 작가님이 편집 맡아 주신 제 작업의 스틸 일부와 리플렛을 공유합니다.
협업자로서 제가 담당한 영상 예측 자기회귀 실습은 전체 전시의 한 부분으로서 전시공간 복층 쪽에 있고, 컴퓨터비전 특유의 지각방식이 만들어내는 환영들에 대해 탐구한 리포트에 가깝습니다. 1층(지층)에 이번 전시의 메인이 되는, 더 흥미로운 인터랙티브 전시 내용들이 많이 있습니다.
자세한 내용은 neolook 링크(아래)를 참고해주시고 혹시 관심이 있다면 많이 보러와주세요. 제 작업 부분은 허락을 거쳐 추후 유튜브 등에 아카이빙할 계획도 있습니다.
_________
고스트 프레임 Ghost Frame
한동석展 / HANDONGSEOCK / 韓東奭 / media
2025_1017 2025_1102
이 사업/작품은 2025년 한국문화예술위원회
다원예술창작산실의 지원을 받았습니다.
This project/work was supported with the support of
『2025 ARKO Partners Multidisciplinary Art』.
관람시간 / 12:00pm~08:00pm
홀원
Hall 1
서울 영등포구 양평로22마길 8 1층
@hallinfo2020
『고스트 프레임』 전은 컴퓨터 비전으로 재구성된 카메라 옵스큐라 공간을 탐구합니다. 관객이 걸으면 영상과 음악은 관객을 따라 움직이고, 걸음을 멈추면 영상과 음악은 관객의 위치를 떠나 새롭게 전개됩니다. 음악이 8마디에 이를 때만 장면이 전환됩니다. 관객을 쫓는 Hall1의 이미지는 인간이 더 이상 외부 세계의 관찰자가 아니라, 이미지 속에서 끊임없이 위치를 부여받는 '관찰의 대상'임을 암시합니다. 이는 카메라 옵스큐라 공간 안에서 달라진 인간의 위상을 드러냅니다. 최대 5명이 동시에 참여하는 이 인터랙티브 구성에서 각자의 시점은 서로 겹쳐지고, 누군가 멈추는 순간 개인적 시점은 사라지며 현재를 벗어난 이미지가 재생됩니다. 전시는 '무위(無爲)'를 통한 도약을, 끊임없이 진보하는 시스템 너머로의 이탈을 상상합니다. ■ 한동석
_________
예측되는 가상: 영상 예측 자기회귀 실습
『고스트 프레임』 展 협업자 오용재
동영상이라는 형식은 시간에 따른 이미지의 연쇄로 이해할 수 있다. 여기서 나타나는 패턴을 컴퓨터 비전기술을 통해 포착하는 비교적 고전적인 기법은 시계열 데이터를 처리하기에 적합한 LSTM 구조에, 이미지 특유의 공간적 상관성을 효과적으로 추출하는 합성곱(convolution) 구조를 결합한 ConvLSTM 신경망이다. 본 실습에서 사용한 PhyDNet 신경망은 여기에 PhyCell 구조를 추가하여 관성, 연속성, 변형의 국소성 등 물리적 움직임의 규칙을 학습한다. 이로써 공간 상에서의 움직임이 동영상으로 주어졌을 때 그 미래 프레임을 예측할 수 있다.
홉필드(Hopfield) 네트워크라는 고전적인 예시에서 보듯이, 신경망은 주어진 데이터를 국소적 신경 상호작용의 가중치들에 의해 형성되는 집단적 안정 상태로 패턴화하여 기억하는 아날로그 물리계이며 이는 현대의 딥 러닝 모델에서도 근본적으로 다르지 않다. 신경망의 학습은 상호작용의 가중치를 조절함으로써 물리계의 상태를 에너지 함수의 안정적인 골짜기로 이끄는 과정이며, 이 과정에서 데이터로부터 취합되고 추출된 시공간적 패턴들은 신경망 가중치 속에 분산적으로 각인된다. 프레임 예측은 이렇게 ‘정적인 수(數)로 기억된 동적 정보’를 불러내는 과정이라고 할 수 있다.
본 실습에서는 사람의 움직임에 관한 동영상 데이터로 위처럼 PhyDNet을 학습시킨 후 자기회귀적으로 구동하여, 예측의 형식을 빌려 본래의 영상 길이보다 더욱 긴 환영적 영상을 출력하게 하였다. 이러한 세팅에서는 모호하거나 지나치게 짧은 입력이 주어질 때 신경망이 기존에 학습한 패턴을 과잉 적용하여 일으키는 오류와, 학습 부족에 의한 불완전성 등이 크게 증폭된다. 이때 화면은 현실과는 거리가 있지만 여전히 일정한 시각적 문법을 따르는 낯선 가상으로 변모한다.
이러한 신경망이 인식하고 만들어내는 형체는 신경망 가중치 속에 분산적으로 각인된 상호작용이 재생산하는 패턴들이며 여기에는 의미, 원근, 깊이 등이 결여되어 있다. 이때 사람의 형상과 움직임은, 신경망 속에서 특정한 형태로 반복적으로 발생했다가 사라지는 일종의 결함 구조나 집단적 여기(勵起) 구조의 출력물로서 등장하게 된다. 이러한 환영들은 특정 과업에 대해 훈련된 신경망이 패턴 학습 및 텍스쳐 처리 기계로서 세계를 지각하는 방식과 그 한계를 음각적으로 드러낸다.
전시 두번째 날쯤 직접 가본 <고스트 프레임> 전시 공간은 독특한 분위기로 잘 꾸며져 있었다. 전시공간인 Hall1 자체를 point cloud로 따서 움직이는 영상으로 만들어 천장과 바닥에 프로젝션해 두고, 옆면은 형체를 흐릿하게 하는 반사판 같은 걸 깔아두어서, 공간이 실제보다 연장되어 있고 무언가 흐물흐물한 느낌이 났다. 고전적 광학장치인 카메라 옵스큐라 안에 맺히는 상들이 형성하는 모호하고 특별한 공간을 현대적 매체와 인터랙티브/컴퓨터비젼 기술을 통해 재사유한다는 취지에 어울리는 분위기였다.
1층에서는 우물을 중심으로 한 관객의 동선이 뒤쪽 위성안테나 모양의 커다란 나무 스크린에 원으로 나타나고, 관객 주변의 바닥에도 관객의 위치가 빛의 덩어리로 표시된다. 잔물결에 반사되는 빛의 이미지도 때때로 바닥면을 훑는다. 그리고 멀티채널 스피커로 된 음악이 여러 사람들의 집합적 동선에 반응하여 변화한다. 방문했던 날에는 아직 음악이 100% 의도대로 작동하고 있지는 않다고 하셨는데, 동선에 반응하는 느낌은 충분히 잘 전달되는 것 같았다. 지금은 의도대로 작동하지 않을까 한다.
전시장의 전면에 있는 반투명 스크린에는 회전하는 수평선의 이미지와, 전시공간을 촬영하여 편집한 영상이 중첩되어 표출된다. 스크린 뒤로는 계단과 그 위의 복층구조가 흐릿하게 보이는데, 계단을 따라 2층으로 올라가볼 수 있다. 여기에는 작가님이 나를 포함한 이번 전시의 과학기술관련 협업자들이 작은 아이디어를 직접 실현해볼수 있게 공간을 내주셨다. 올라가면 내 영상실습 작업과, 언어모델을 활용한 다른 협업자의 작업이 있다.
내 쪽 작업은 인터랙티브는 아니고 이미 만들어져 고정된 3분 가량의 영상으로, 바닥에 가까이 닿게 프로젝션 해두었다. 학습된 기계가 모호한 입력에 대해 만들어내는 환영들을 자기회귀적 영상 예측을 통해 증폭해서, 컴퓨터비전 특유의 시공간 지각과 그 매끄럽지 않은 이음매들을 보여주고자 했다.
실습 설명 자료도 인쇄해서 붙이고 왔는데 (이게 이 날 방문의 본 목적), 종이에 블루 펄 처리가 되어있어서 밝은 곳에서 보면 정말 예쁘지만 사진으로도 잘 안 담기고 어두운 전시 현장에서도 잘 안 보이는 점이 아쉽다.
뒤편의 노트북에 있는 언어모델 관련 인터랙티브 작업에서는, 1층 공간을 내려다보는 구도의 영상과, 관객이 직접 입력하는 (때로는 부조리할 수도 있는) 질문을 입력받아 언어모델을 통해 점층적으로 환영적 문장을 만들어낸다.
아무쪼록 느슨하게나마 거의 2년간 논의를 지켜보며 참여해 왔는데 이런 가시적인 형태의 산물로 마주하니 신기하기도 하고, 예술가 분들의 날카로운 직관과 세심한 감각에 자주 놀라기도 하고 이래저래 보람찬 경험이었다.
2025_1102
No comments:
Post a Comment