Private Works

Artist Statement

《Deep.PhotoPlay》는 딥러닝 기반 협력형 AI와 몰입형 VR을 주요 전략으로 활용한 인터랙티브 VR 아트워크입니다. 한국의 문화유산인 무성영화를 재현하며 예술적 가치를 확산시키고, 궁극적으로 리미디에이션(remediation)을 실현합니다.

이 작품의 소재는 2019년 러시아 고스필모폰드(Gosfilmofound)에서 한국영상자료원이 발견한 1920년대 제작된 것으로 추정되는 무성영화 <노동의 끝에 빈곤은 없다>(12분)입니다. 제목에서 알 수 있듯이, 이 영화는 성실한 노동을 통해 빈곤에서 벗어나는 사람들의 삶과 역사를 묘사합니다. 특히 초기 한국 영화사에 대한 지식을 보완해주는 중요한 문화유산으로, 피아노와 현악기 연주, 내레이션이 조화를 이루는 액션 영화입니다. 한국영상자료원(KOFA)과의 협력을 통해, 관객의 몰입은 주로 영화의 소리에서 비롯된다는 것을 발견했습니다. 소리는 장면의 분위기를 전달하고 배우들의 감정을 확장시키는 중요한 요소로 작용합니다.

이 작품에 설계된 인공지능은 소리를 생성하는 배우로 기능합니다. AI는 짧은 러닝타임, 자막 텍스트, 등장인물의 움직임을 바탕으로 내러티브를 이해하며 폴리(Foley), 앰비언스(Ambience), FX 소리를 생성합니다. 또한, 원본 영화의 노이즈와 열화를 개선하여 정확도를 높였습니다. 생성된 소리는 인간 작곡가와 영화 비평 전문가의 상호 보완적 개입을 통해 선택되며, 배경음으로 결합됩니다. AI와 인간의 협력은 창작의 깊이를 더합니다.

《Deep.PhotoPlay》는 위 작업을 바탕으로 실시간 엔진을 통해 오디오-비주얼 몰입을 제공합니다. 이 작품은 영화의 시대적 배경, 내러티브, 사운드와의 상호작용을 통해 독특한 경험을 창출합니다. VR 기술은 1920년대 무성영화 시대와 현대를 혼합한 개인적이면서도 공유되는 세계를 창조합니다. 참여자는 아바타로 이동하며 반복적으로 상호작용하는 경험을 즐길 수 있습니다. 또한, 한국 영화사에서 중요한 건축물인 복원된 단성사 극장을 탐험할 수 있습니다. 극장에서 무성영화가 상영되는 동안, 가상 인간으로 대체된 음악가와 해설자가 위에서 생성된 창의적인 사운드를 기반으로 몰입형 공연을 선보입니다. 이 공연은 아티스트의 라이브 퍼포먼스를 모션 캡처 기술로 구현하여 높은 현실감을 제공합니다. 무성영화는 여전히 영화제에서 상영되지만, 이 작품은 AI와 가상 기술을 활용한 최초의 무성영화 창작이라는 점에서 그 가치를 인정받습니다.

Cinematic Screening VR

BIFAN XR

2023

Private Works

Artist Statement

R&D

Cloud XR

Synopsis

R&D

Reference

Artist Statement

Artist Statement