Artist Statement
《Deep.PhotoPlay》는 딥러닝 기반 협력형 AI와 몰입형 VR을 주요 전략으로 활용한 인터랙티브 VR 아트워크입니다. 한국의 문화유산인 무성영화를 재현하며 예술적 가치를 확산시키고, 궁극적으로 리미디에이션(remediation)을 실현합니다.
이 작품의 소재는 2019년 러시아 고스필모폰드(Gosfilmofound)에서 한국영상자료원이 발견한 1920년대 제작된 것으로 추정되는 무성영화 <노동의 끝에 빈곤은 없다>(12분)입니다. 제목에서 알 수 있듯이, 이 영화는 성실한 노동을 통해 빈곤에서 벗어나는 사람들의 삶과 역사를 묘사합니다. 특히 초기 한국 영화사에 대한 지식을 보완해주는 중요한 문화유산으로, 피아노와 현악기 연주, 내레이션이 조화를 이루는 액션 영화입니다. 한국영상자료원(KOFA)과의 협력을 통해, 관객의 몰입은 주로 영화의 소리에서 비롯된다는 것을 발견했습니다. 소리는 장면의 분위기를 전달하고 배우들의 감정을 확장시키는 중요한 요소로 작용합니다.
이 작품에 설계된 인공지능은 소리를 생성하는 배우로 기능합니다. AI는 짧은 러닝타임, 자막 텍스트, 등장인물의 움직임을 바탕으로 내러티브를 이해하며 폴리(Foley), 앰비언스(Ambience), FX 소리를 생성합니다. 또한, 원본 영화의 노이즈와 열화를 개선하여 정확도를 높였습니다. 생성된 소리는 인간 작곡가와 영화 비평 전문가의 상호 보완적 개입을 통해 선택되며, 배경음으로 결합됩니다. AI와 인간의 협력은 창작의 깊이를 더합니다.
《Deep.PhotoPlay》는 위 작업을 바탕으로 실시간 엔진을 통해 오디오-비주얼 몰입을 제공합니다. 이 작품은 영화의 시대적 배경, 내러티브, 사운드와의 상호작용을 통해 독특한 경험을 창출합니다. VR 기술은 1920년대 무성영화 시대와 현대를 혼합한 개인적이면서도 공유되는 세계를 창조합니다. 참여자는 아바타로 이동하며 반복적으로 상호작용하는 경험을 즐길 수 있습니다. 또한, 한국 영화사에서 중요한 건축물인 복원된 단성사 극장을 탐험할 수 있습니다. 극장에서 무성영화가 상영되는 동안, 가상 인간으로 대체된 음악가와 해설자가 위에서 생성된 창의적인 사운드를 기반으로 몰입형 공연을 선보입니다. 이 공연은 아티스트의 라이브 퍼포먼스를 모션 캡처 기술로 구현하여 높은 현실감을 제공합니다. 무성영화는 여전히 영화제에서 상영되지만, 이 작품은 AI와 가상 기술을 활용한 최초의 무성영화 창작이라는 점에서 그 가치를 인정받습니다.
《Deep.PhotoPlay》 is an interactive VR artwork that uses deep learning-based cooperative AI and immersive VR as its main strategies. It reenacts a silent-film, a Korean cultural heritage, disseminates artistic values, and ultimately realizes remediation.
The material for this artwork is the silent-film <There is No Poverty at the End of Labor> (12 minutes, estimated to have been produced in the 1920s) discovered by the Korean Film Archive (KOFA) at the Gosfilmofound of Russia in 2019. As the title suggests, it depicts the life and history of people escaping poverty through hard work. In particular, it is an important piece of cultural heritage that fills gaps in knowledge of early Korean film history. It is an action-film in which performances of piano and string instruments and narration are harmonized. Through cooperation with the KOFA, we discovered that the audience's immersion comes primarily from sounds in the film, which convey the scenes' atmosphere and expand the actors' emotions.
The artificial intelligence we designed functions as an actor that creates sounds. It creates Foley, Ambience, and FX sounds by being aware of the narrative through the film's short length, subtitle text, and character movement. We also performed noise and degradation enhancement on the original film to ensure accuracy. The generated sound is selected through the complementary intervention of human composers and film critic experts and combined as background sound. Collaboration between AI and humans adds depth to creation.
《Deep.PhotoPlay》 builds on the work above to provide audio-visual virtual immersion through a real-time engine. It creates a unique experience through interaction with the film's era, narrative, and sounds. The VR this artwork uses creates a personal yet shared world that blends the silent film era (the 1920s) with modern times. Participants enjoy moving and repeatedly interacting as avatars. This approach is valuable not only for creating a new awareness of cultural heritage but also for improving public access. Participants can also tour the restored Dansungsa Theater, a historic building in Korean film history. While a silent movie is shown in the theater, musicians and narrators replaced by virtual humans present an immersive performance based on the above creative sounds. This presentation has a high degree of realism because the artists' live performances were acquired and produced with motion capture technology. Silent films are still screened at film festivals as they used to be. However, this artwork is the first work of silent film creation using artificial intelligence and virtual technology.