1956년 독일 Cologne의 서독일 라디오(WDR)에서 있었던 슈토크하우젠의 ‘소년들의 노래’ 초연 장면 [리서치게이트 제공]

지난 2월, 가수 윤하의 20주년 기념 공연 ‘스물’이 KSPO돔에서 열렸다. 개인적으로 좋아하는 뮤지션임과 동시에 과학에 큰 관심을 지닌 이 뮤지션이 대규모 대중음악 공연 최초로 이머시브 (몰입형) 사운드 시스템을 활용한다는 소식은 필자에게 매우 반가운 소식이었다. 2만여명의 관중에게 윤하의 음악이 기존과는 다른 이머시브 형태로 전달된다는 것은 한국 공연 및 음향 역사에 길이 남을 한 획이었다. 비록 다른 일정으로 인해 직접 참여할 수는 없었으나, 공연에 참여한 관계자 분들로부터 적용된 기술에 관한 여러 구체적이 얘기를 들으며 ‘이머시브 사운드의 미래는 이미 현재형으로 진행되고 있구나’ 라는 생각을 자연스레 떠올렸다.

‘공간은 힘을 가진다.’ 필자가 이 칼럼을 연재하면서 신중하게 골랐던 첫 문장이다. 이머시브 사운드 기술은 특히 청각 공간의 힘을 제약없이 사용하게 해주는 도구다. 이러한 도구는 이미 50년대에 현대 음악 작곡가들이 활용한 바 있다. 슈토크하우젠은 그의 작품 ‘소년들의 노래’에서 실 연주자와 전자적으로 합성된 소리를 섞는 기법을 넘어서 5개의 스피커를 공연장에 배치해서 음악의 요소들이 공간안에서 극대화 되도록 활용했다. 아마 전 세계 최초의 이머시브 (몰입형) 공연이 아니었을까? 이 공연이 가지는 의미는 연주 공간 전체를 음악을 위해 활용한다는 개념을 뛰어넘는 것이다. 연주 공간을 활용한 작곡 기법은 이미 수 많은 작곡가들이 시도한 바 있다. 하이든의 군대교항곡과 베를리오즈의 환상교향곡, 그리고 말러 교향곡 2번 등에서 연주자들이 무대를 벗어나 통로 혹은 2층에서 자신의 파트를 연주해 곡에 생경함을 더하고 전통적으로 무대로부터 나오는 소리가 아닌 확장된 공간감을 만들어낸 것이 그 예다.

그러나 슈토크하우젠의 작품은 주어진 공연장의 다양한 장소를 활용했다는 점을 넘어, 주어진 공간이 아닌 새로운 음향 공간을 창조할 수 있었다는 점에서 음악으로 가상현실(VR)을 구현해낸 최초의 작품이라고 칭할 수 있을 듯하다. 활용이 아닌 공간의 제어를 통해 음악 작품을 만들어낸 것이다. 1956년에 이 작품이 초연됐으니 무려 70여년 전에 그는 이미 현재의 이머시브 사운드 기술을 음악에 적용해 활용한 것이다. 이와 비교해 윤하의 이머시브 사운드 기술을 활용한 2024년의 공연은 크게 놀라운 이야기는 아니다. 그저 반세기 이상 지난 기술을 새롭게 재해석해 현시점의 맥락에 맞게 구현했다거나 혹은 슈토크하우젠의 후예들이 비로소 대중에게 보다 가깝게 다가갈 수 있는 계기를 만들었다 정도의 의미인지도 모르겠다.

그러나 대중가수의 라이브 공연에 이러한 기술이 적용됐다는 점은 이 기술의 보편성 및 시장성을 나타내 준다는 점에서 사운드 기술의 영향력을 보여줬다고 필자는 생각한다. 그리고 그 영향력은 시각 미디어의 발전으로부터 시작됐다.

야마하의 122채널 이머시브 사운드 재생 룸[야마하 홈페이지]

19세기 말, 이미 영화를 통해서 활동사진, 움직이는 그림(motion picture)의 생생함을 경험한 관객들은 다음 단계의 생생한 미디어 경험에 대해 궁금해하기 시작했다. 미디어 제작자들도 그러한 궁금증에 대한 기대를 충족하기 위해 영상 기술을 계속 발전해 나갔다. 그러나 정작 그 기대에 부응한 작품은 1927년의 소위 노래와 음성이 영상과 일치돼 관중들에게 전달된 ‘재즈 싱어’(The Jazz Singer)였다. 시청각 정보가 일치된 이 영화가 주는 경험은 그 당시 관중에게는 또 하나의 벽을 넘는 생생함이자 몰입감이었고, 이후 모든 영화 및 대중 미디어에서 ‘시청감의 일치’는 몰입형 미디어의 자연스러운 경험을 좌우하는 가장 중요한 요소가 됐다.

이후 영화 시장은 시각정보의 해상도를 증가시키는 기술과 동시에 그러한 시각정보와 일치하는 퀄리티의 청각정보를 제공하려는 기술이 동시에 실험되는 테스트베드가 됐다. 1930년대 애니메이션의 수준을 넘어서는 고퀄리티 애니메이션에 실사화면을 병행해 사용했던 월트디즈니사의 영화 ‘환타지아’를 위해 환타사운드라는 새로운 3채널 서라운드 기법을 개발해야 했었고, 조지 루카스의 스타워즈 사가를 위한 존 윌리암스의 영화 음악을 위해서는 THX사운드 기술이 뒷받침돼야 했다. 그리고 디지털 시네마가 본격적으로 채용된 이후, 현재에는 돌비 애트모스 기술이 보다 향상된 사운드를 영화 관객들에게 전달하고 있다. 영화는 아니지만 8K 지상파 방송 기술의 발전도 이머시브 사운드 기술에 영향을 미쳤고 영국의 BBC와 일본의 NHK는 각각 고해상도 방송을 위한 다양한 실험들을 진행했다. 이 중 NHK의 22.2채널 시스템은 22개의 스피커와 2개의 서브우퍼를 사용하는 개인 방송 청취 레벨에서는 가장 많은 스피커를 사용해서 청각 몰입감을 최대로 할 수있는 시스템을 제안했고, 2012년, 2016년, 2021년 올림픽을 통해서 지상파 방송에 적용하는 실험을 성공적으로 마쳤다. 22개 스피커도 일반적인 기준에서는 과분할지 모르지만, 레지던트 이블 7 게임에 삽입되는 이머시브 사운드 엔진을 위해 122 개의 스피커가 구비된 스튜디오를 구축한 야마하의 경우에 비해서는 귀여운 수준일 지도 모르겠다.

이러한 영화 및 미디어 시장을 통한 기술력의 발전은 슈토커하우젠의 후예들이 이 기술력을 음악 감상에 활용할 수 있는 토양을 제공했다. 그리고 이들이 전면에서 활약할 수 있는 계기를 열어준 것은 2019년의 돌비 애트모스 음악 포맷이 확정되고, 이듬해 애플이 공간 오디오(spatial audio)라는 돌비 애트모스를 호환해 재생할 수 있는 서비스를 시작하면서였다. 이 서비스는 영화관이나 전용 스피커 시스템이 아닌 개인용 헤드폰을 매개체로 사용했기에, 사용자들이 보다 가벼운 발걸음으로 이머시브 사운드의 세계로 진입할 수 있는 계기가 됐다. 애플의 이러한 서비스는 호모 헤드포니쿠스 (Homo Headphonicus)를 타깃으로 자사의 새로운 헤드폰과 애플 뮤직 사업 확장을 위함이었고, 이 확장 과정에서 ‘공간 오디오’라는 새로운 상품이 쇼케이스에 화려하게 전시된 셈이다.

워너브라더스의 세계 최초 유성 영화 재즈 싱어 (The Jazz Singer)의 포스터

현재 빌보드 톱 100 아티스트들의 앨범 중 92%가 돌비 애트모스 포맷의 이머시브 형태로 제작돼 애플 뮤직과 같은 구독 서비스로 배급되고 있다. 특히 애플은 뮤지션이 자신의 음악을 애트모스로 제작할 때 인센티브를 지급하는 정책을 채택하며 연주자와 제작자 모두에게 애트모스 제작의 동력을 불어 넣어주었다. 이러한 효과로 지난 2년 반 동안 세계적으로 무려 1000여개의 돌비 애트모스 음악 제작이 가능한 녹음/믹스 스튜디오가 생겨난 것으로 돌비코리아는 보고 있다.

영화, 방송, 음악, 라이브 공연, 게임 그리고 미디어 파사드에 이르기 까지 이머시브 사운드는 이미 현재형으로 우리와 함께하고 있다. 특히 가상현실 및 증강현실등의 새로운 청각 정보를 생성해내야 하는 영역에서는 이 이머시브 사운드에 대한 연구와 기술 발전이 하루가 다르게 발전하고 있는 실정이다. 더구나 AI기술의 발전이 이러한 기술 발전을 더욱 가속화시키고 있다.

그러나 콘텐츠에 대한 몰입이 기술의 발전과 혹은 시장의 동력과 항상 일치하는 것은 아니다. 글을 쓴다는 행위는 이미 몇 세기를 걸쳐 인간과 함께 한 바 있고, 그 핵심 기술은 그다지 크게 발전한 것이라고 보기는 어렵다. 그러나 이러한 활자 매체와 책 콘텐츠에 21세기를 살아가는 우리는 아직도 열광하고 있으며 한강 작가의 노벨 문학상 수상을 국가 최고의 경사로 하나로 즐긴다. 이머시브 사운드 기술이 아무리 발전해도 그 기술이 담아내는 내용의 서사가 부족하다면 소위 ‘빛 좋은 개살구’와 다르지 않을 것이다. 세계적인 오디오 회사인 뱅앤올룹슨(Bang & Olufsen)의 수석 연구자 제프 마틴(Geoff Martin)이 말했듯, 2개의 스피커로 들어서 좋지 않은 음악이라면 12개의 스피커로 들어서 좋아질 수는 없는 법이다. 아니 그러한 콘텐츠라면 간단히 생각해봐도 12개의 스피커로 들을 때 6배 더 나빠진 소리가 될 것이다. 결국은 콘텐츠다. 이머시브라는 좋은 토양에 좋은 콘텐츠를 담아서 잘 자라게 하는 것이 슈토커하우젠의 후예들의 몫이다. 이머시브라는 키워드가 아닌 어디서 어떻게 들어도 소리 정보의 힘을 담아낼 수 있는 콘텐츠의 퀄리티를 향상시키고 그래서 그 퀄리티가 이머시브라는 틀을 통해 더 빛날 수 있도록 그래서 경험의 차원이 달라지는 기술이 되는 참 미래 기술로 자리 잡아 가기를 바란다. (그리고 나도 그 일원으로 함께 연구해 나가고자 한다.)