영화와 드라마에 활용된 AI 디에이징 기술

지난해 12월 21일 디즈니+에 공개된 드라마 ‘카지노’는 여러 방면에서 사람들의 이목을 끌었습니다. 먼저 카지노의 영향 덕에 디즈니+의 2022년 12월 유입률은 42.5%로 직전 달 대비 6.9%p 증가하였기 때문에 해외 OTT 플랫폼의 국내 입지와 관련하여 업계에서 큰 주목을 받았습니다. 또한 카지노는 배우 최민식이 MBC ‘사랑과 이별’(1998) 이후 24년 만에 드라마에 복귀한 작품으로 공개 전부터 관심을 모았습니다. 마지막으로 24년 만에 드라마에서 만난 최민식 배우가 여전히 젊은 모습이었기에 놀라움을 자아냈습니다. 과연 30대 최민식을 재현해내는 것이 어떻게 가능했을까요?

 

□ AI 페이스 디에이징 기술

먼저 페이스 디에이징 기술 덕분입니다. 60대 최민식 배우는 AI 페이스 디에이징 기술로 30대부터 50대까지 다양한 나이대의 차무식을 연기할 수 있었습니다. 일반적으로 디에이징에 3D 솔루션을 활용하는 것이 촬영 시 제약이 덜하나 모습(룩)이 어색하고 제작 기간이 맞지 않아 AI 페이스 디에이징 기술을 도입했다고 합니다.

 

< 드라마 '카지노'에 사용된 디에이징 기술 / 디즈니 플러스 코리아 유튜브 화면 캡처, 출처 : https://youtu.be/L7-UFtcFlDk >

디에이징은 1차적으로 학습된 자료와 트래킹한 현재의 얼굴을 바꿔치기 하는 원리입니다. 눈, 코, 입 등 추가적으로 필요한 부분은 따로 마스크를 떠서 합성, 조합한 후 처리하게 됩니다. 씨제스걸리버스튜디오의 이주원 시각효과감독은 배우의 연기를 가장 살렸어야 했기 때문에 배우가 온 얼굴의 근육을 움직여서 연기하는 것을 디지털 기술로 손본다는 것 자체가 부담감이었다고 합니다. 따라서 무조건적으로 젊은 최민식 배우의 얼굴을 만든다기보다 차무식의 감정 상태에 대한 조언을 듣고 관찰한 다음 배우가 의도하는 표현 정도에 따라서 극에 맞는 차무식의 캐릭터를 만드는 데 초점을 맞췄다고 전했습니다. 씨제스걸리버스튜디오의 강문정 제작 본부장은 젊은 모습을 어디까지 젊게 하느냐가 제일 어려웠던 지점이었지만 가능하겠다고 생각해 도전을 해보았고 충분히 성공적으로 완성했다고 언급했습니다.

 

□ AI 보이스 디에이징 기술

AI 음성 합성 기술로 목소리마저 젊어질 수 있었습니다. 최민식 배우의 현재 목소리와 과거 목소리들을 컴퓨터에서 딥러닝 하여 젊은 시절 최민식 배우의 목소리로 변환하는 작업이었습니다. 이 인공지능 오디오 음성 합성 기술은 다양한 캐릭터의, 다양한 나이대의 목소리를 구현해낼 수 있는 혁신적인 기술입니다.

 

< 디즈니 플러스 코리아 유튜브 화면 캡처, https://youtu.be/L7-UFtcFlDk >

 디에이징 과정을 보자면 우선 데이터를 분석하여 나이와 성별 값을 확인합니다. 이후 1차적으로 디에이징 슬라이더를 조절하여 음성을 변환하고 2차적으로는 남아있는 목소리에 탁성을 지워주는 후보정 작업으로 조금 더 또렷하고 힘 있는 목소리를 만듭니다.

 

수퍼톤 왕환웅 프로듀서에 따르면 AI 보이스 디에이징의 최대 미션은 크게 두 가지가 있었습니다. 하나는 최민식 배우의 연기 톤과 캐릭터성을 유지하면서 자연스럽게 젊은 시절의 목소리를 재현하는 것, 두 번째 최민식 배우의 자연스러운 연기 톤과 감정선을 가장 잘 유지하는 샘플을 채택하는 것이었습니다. 또한 굉장히 깨끗하게 들리는 목소리와 조금 더 허스키하게 들리는 목소리의 값이 미묘하게 다른데 그 값이 과하게 적용되면 배우의 성격과 배우의 연기 톤까지 깎을 수 있기 때문에 정도를 맞추는 게 중요했다고 합니다. 나이를 먹으면서 사람의 목소리 톤이 거칠어지는데 어리게 만들다 보면 목소리가 고와져 캐릭터와 잘 매칭이 안 될 수 있는 상황이 존재하기 때문이었습니다.

 

이러한 AI 페이스, 보이스 디에이징 기술은 대표적으로 영화 아이리시맨이나 윤여정 배우가 등장한 KB라이프생명 광고에도 사용되었습니다. 영화와 드라마에서 해당 기술을 사용하면 과거 회상이나 재현 장면에서 다른 외형의 배우에 의해 극의 흐름이 끊길 일이 없습니다. 또한 광고에서 새로운 메시지를 전달하는 데 도움이 될 수 있습니다. 여러 장점에도 불구하고 근본적으로 현실을 왜곡하는 기술이기에 반대 의견도 존재합니다. 그러나 현재 AI 디에이징 기술이 점차 발전하여 많은 곳에 사용되고 있다는 사실만큼은 명백합니다. AI 디에이징 기술의 단점과 한계는 최소화하고 장점을 극대화하여 더욱 다채로운 콘텐츠를 볼 수 있기를 기대해봅시다.

 

 

 

[출처]

- “드라마 ‘카지노’ 최민식, 페이스 디에이징 기술로 세월 역행”, <디지털조선일보>, 2023.01.10.

- “세계 최초 'AI 보이스 디에이징' 기술로 재현한 30대 최민식 ‘카지노’에서 빛났다”, <인공지능 신문>, 2022.12.28.

- “[issue&] 윤여정 배우의 20대 모습 복원 AI 딥러닝 기술 활용한 광고 화제”, <중앙일보>, 2023.01.31.

- “’젊은 차무식’이 만들어진 과정 | [카지노] 디즈니+”, 유튜브 <Disney Plus Korea 디즈니 플러스 코리아>, 2023.01.09.

- “카지노 효과? 자본의 힘?…‘K-콘텐츠’ 외친 디즈니+, 성장 뚜렷 [기승전-플랫폼]”, <이코노미스트>, 2023.03.20.