Ⅰ. 서 론

1. 연구의 필요성 및 목적

춤은 행하는 순간 사라지는 예술이다. 회화나 문학이 물질적 원본을 남기는 것과 달리, 춤의 원본은 무용가의 몸 그 자체이며, 공연이 끝나는 순간 작품은 기록으로만 존속한다. 춤을 남기려는 노력은 기록 매체의 역사와 함께 전개되어 왔으나, 각 매체는 고유한 정보 손실을 수반한다. 무보(舞譜)는 기보자의 해석을 경유한 이산적 기호이고, 사진은 시간을 소거하며, 20세기 이후 표준이 된 영상 기록은 3차원 공간을 단일 시점의 투영으로 압축한다. 오늘날 춤의 기록 환경은 장르에 따라 상이한 양상을 보인다. 케이팝·스트릿댄스 등 대중·실용무용 장르의 기록은 유튜브, 틱톡, 인스타그램 등 SNS 플랫폼에 업로드되는 숏폼 중심의 2차원 영상에 압도적으로 편중되어 있으며, 극장을 기반으로 하는 예술무용 장르의 경우 공연 실황을 담은 기록영상이 기록의 주류를 이루고 SNS에는 그 일부가 발췌되어 유통된다. 그러나 두 경우 모두 접근성과 유통량에서 과거의 어떤 매체도 능가하는 반면, 정보의 차원에서는 단일 혹은 소수 시점의 평면 기록이라는 한계를 공유한다. 2차원 영상은 신체 분절의 깊이, 회전의 궤적, 무용수 간의 공간 관계와 같은 춤의 입체적 실체를 구조적으로 소거한다. 춤이 몸의 예술이라면, 현재의 기록 체계는 그 몸의 3분의 1을 잘라낸 채 보존하고 있는 셈이다. 기록으로부터 춤을 다시 일으켜 세우려는 시도는 이 소거된 차원을 복구하는 작업이며, 따라서 기록의 충실도, 곧 실제 연행에 얼마나 가깝게 보이고 움직이는가가 복원의 중심 문제로 부상한다. 다만 이러한 문제 설정이 기록에 관한 유일한 관점은 아니라는 점을 밝혀 둘 필요가 있다. 동시대 공연학과 춤 담론에서 기록은 원본을 보조하는 2차 자료가 아니라 원본을 다양하게 해석하는 독자적 창작물로 이해되기도 하며(Taylor 2003, 19; Lepecki 2010), 나아가 공연의 사라짐 자체를 공연의 존재론적 조건으로 보아 기록과 재현이 오히려 원본을 대체하거나 왜곡한다는 비판적 관점이 제기되었고(Phelan 1993, 146), 이 사라짐 명제를 재검토하며 공연이 다른 방식으로 남는다고 보는 반론도 이어져 왔다(Schneider 2011). 본 연구가 주목하는 기록의 충실도 문제는 이러한 담론을 부정하는 것이 아니라, 기록이 수행하는 여러 기능 가운데 무용가의 동작과 외형을 사후에도 열람·학습 가능한 데이터로 남긴다는 특정 기능에 한정된 문제 설정이다. 이 비판적 관점에 대한 본 연구의 응답은 Ⅴ장에서 제시한다.

이 문제는 무용가의 죽음 앞에서 가장 첨예해진다. 근대 무용가 최승희(崔承喜, 1911-1969년)가 그 대표적 사례이다. 최승희에 관한 연구는 단행본, 학위논문, 학술지 논문을 합쳐 약 100건의 성과가 축적되어 있으나 생애사와 예술 행적 중심의 사적 연구가 주류를 이루며, 생애사와 예술 행적 중심의 사적 연구가 주류를 이루며, 향후 과제로 최승희 춤의 발굴과 복원이 명시적으로 요청되어 왔다(한경자 2012). 그러나 정작 그녀의 춤 자체는 단편적인 영상과 사진, 문헌 기록으로만 전해질 뿐이다. 그와 관련한 현존 자료의 구체적 현황은 Ⅳ장 2절에서 정리한다. 신상미(2006)가 보살상 도상과 ｢보살춤｣의 동작 이미지를 비교·해석하여 최승희의 창작 기법을 규명한 연구는 평면 사료에 기반해 춤에 접근한 선구적 시도인 동시에, 평면 자료가 허용하는 분석의 한계를 보여주는 사례이기도 하다. 이러한 한계는 특정 시대나 지역에 국한되지 않는다. 근대무용의 어머니로 불리는 이사도라 던컨(Isadora Duncan, 1877-1927년)은 30여 년에 걸쳐 활동하였음에도 그녀가 춤추는 모습을 담은 영상이 거의 남아 있지 않으며, 생전에 안무를 기록한 무보(舞譜) 또한 존재하지 않는다(Daly 1995;Isadora Duncan Archive n.d.). 그 결과 던컨의 레퍼토리는 ‘이사도라블(Isadorables)’로 불린 제자들에서 다음 세대로 이어지는 신체적 전승, 곧 구전(口傳)에 가까운 방식으로만 보존되어 왔으며, 그녀의 춤 300여 편이 라바노테이션으로 기록된 것은 사후 60여 년이 지난 1994년, 그것도 제자와 후예들의 몸에 남은 기억을 옮긴 결과였다(Nahumck 1994). 이는 평면 사료조차 충분치 않을 때 무용가의 춤이 결국 사사(師事) 관계라는 취약한 연쇄에 의존하게 되며, 그 연쇄가 끊기는 순간 춤 자체가 소멸할 위험에 놓임을 보여준다. 한편, 유사한 문제가 실용무용 분야에서도 반복되고 있다. 힙합과 스트릿댄스는 장르의 역사가 이제 반세기를 넘기면서 1세대 스트릿댄서들의 타계가 이어지고 있으나, 이들의 춤은 저화질의 2차원 영상으로만 산재하여 남는다. 장르를 불문하고, 무용가의 춤을 입체 그대로 후대에 남기는 문제는 무용 기록학의 보편적 과제인 것이다.

본 연구는 이 과제를 무용가 디지털 레거시(dancer’s digital legacy)의 문제로 설정한다. 무용가 디지털 레거시란 무용가의 동작·외형·작품을 사후에도 열람·재연·학습 가능한 입체 데이터로 보존한 총체를 가리킨다. 그 산업적 전례는 대중음악의 사후 공연에서 확인된다. 2012년 코첼라 페스티벌의 랩스타 투팍(2Pac, 1971-1996년) 재현 이후 마이클 잭슨(Michael Jackson, 1958-2009년), 로이 오비슨(Roy Orbison, 1936-1988년), 휘트니 휴스턴(Whitney Houston, 1963-2012년)의 사후 공연이 이어졌고, 휘트니 휴스턴의 경우 유럽과 북미를 순회하는 상업 투어로까지 확장되었다(Benchetrit 2021). 생존 아티스트의 사례로는 2022년 개막한 ABBA Voyage(ABBA Voyage n.d.)가 있는데, 이는 멤버 본인의 생전 모션캡처 데이터로 전성기 모습의 아바타를 제작하여 라이브 밴드와 함께 공연하는 상설 콘서트로, 본인의 동작 데이터를 생전에 확보해 사후에도 지속 가능한 공연 자산으로 전환한 최초의 대규모 사례로 평가된다. 그러나 이들 사례는 무용의 관점에서 두 가지 한계를 지닌다. 첫째, 다수는 페퍼스 고스트(Pepper’s Ghost) 기법에 의한 평면 투사 착시로서 관객의 시점 이동을 허용하는 진정한 3차원 재현이 아니며, ABBA Voyage조차 캡처는 본인 데이터로 이루어졌으나 관객에게 전달되는 것은 대형 평면 스크린의 2차원 상(像)이다. 둘째, 제작 방식이 아카이브 영상의 합성이거나 대역 배우의 동작 위에 고인의 외형을 입히는 방식이어서, 무대에 오르는 것은 고인이 실제로 춘 동작의 데이터가 아니라 그 근사물이다. 여기에 사후 재현은 생전 동의와 퍼블리시티권 등 법적·윤리적 쟁점을 수반하여, 배우 로빈 윌리엄스(Robin Williams, 1951-2014년)가 생전에 설정한 신탁(trust)을 통해 자신의 이름·서명·사진·초상에 관한 권리를 비영리재단인 윈드폴 재단(Windfall Foundation)에 이전하고 사후 25년간(2039년까지) 그 상업적 활용과 홀로그램·디지털 삽입을 제한한 사례처럼(Gardner 2015), 생전의 명시적 의사 표시가 새로운 관행으로 제안되고 있다. 몸의 움직임 그 자체가 작품인 무용에서, 무용가 본인의 동작과 외형을 데이터로 입체 보존하고 재현하는 논의는 아직 본격화되지 않았다.

최근 AI 기술의 발전은 이 간극을 좁힐 수 있는 기술적 조건을 형성하고 있다. 딥러닝 기반 인체 자세 추정(Human Pose Estimation, 이하 HPE)은 특수 장비 없이 일반 2차원 영상으로부터 골격 정보를 추출하고(Cao et al. 2017, 7291-7292; Bazarevsky et al. 2020, 1), SMPL 계열의 파라메트릭 인체 모델은 단안 영상으로부터 3차원 동작을 복원하는 경로를 제공한다(Loper et al. 2015, 1). 외형의 차원에서는 다중 시점 카메라 배열로 인물의 실사 자유 시점 영상을 생성하는 볼류메트릭 캡처가 실용화 단계에 이르렀고(Collet et al. 2015, 1), 신경 방사장(NeRF)과 3D 가우시안 스플래팅은 촬영 이미지로부터 실사 수준의 신규 시점 영상을 합성하는 토대를 마련했고(Mildenhall et al. 2020, 405; Kerbl et al. 2023, 1), 후속 연구는 이를 단안 영상 기반의 인물 렌더링으로 확장하고 있다(Weng et al. 2022, 16210; Hu, S. et al. 2024, 20418-20419). 여기에 음악 조건부 동작 생성(Li, R. et al. 2021, 13401; Tseng et al. 2023, 448)과 VR·AR·XR 재생 기술이 결합되면, 2차원 아카이브 영상으로부터 무용가의 춤을 입체로 복원하여 감상·교육 환경에 구현하는 파이프라인이 기술적으로 성립하기 시작한다.

국내 무용학에서도 관련 연구의 계보가 형성되어 왔다. 무용 창작을 위한 AI 기술 동향이 소개되었고(신경아 2020, 15-16), 실증 연구로는 케이팝 댄스 안무 검색·자세 정확성 분석 기술 개발(한국전자통신연구원 2017), 키포인트 동적시간워핑 기반 동작 유사도 정량화(임준석, 김진헌 2020, 1111-1112), 발레 동작 코칭 시스템(손예진, 최승호 2022, 1349), 음악 조건부 3D 댄스 동작 생성 등 몰입형 가상 세계를 위한 인체 디지털화 연구(김진우 2023)가 이어졌다. 특히 최종환(2022, 45-49)은 인간 자세 추정 기법을 평면 무용 영상에 적용하여 관절 좌표를 벡터로 환산하고, 두 안무 사이의 근접도를 코사인·유클리드 척도로 산출함으로써 별도의 장비 없이 영상만으로 동작의 정량 비교가 가능함을 보였으며, 이는 유통 중인 무용 영상을 분석 자료로 삼는 국내 정량화 연구의 출발점이 되었다. 이어 최종환(2023)은 합성곱 신경망으로 전공에 따라 무용 이미지를 분류하는 실험을 통해 장르 판별의 가능성과 한계를 검토하고, 정밀도 향상을 위한 전용 동작 데이터셋 구축과 자세 추정 기반 시퀀스 분석을 향후 과제로 남겼다. 안무저작권 연구의 계보로 무용 창작과 저작권 침해 판단의 실질적 유사성 논의(황희정 2013), 델파이와 AHP로 안무저작권의 성립 요건과 보호 범위를 도출한 연구(홍미성 2016), 블록체인 기반 무용저작권 보호 전망(이루라, 이경주 2020, 139), 3차원 관절 유사도 측정 기반 안무 NFT 생성 연구(김상준 2022)는 무용 동작의 데이터화가 권리 보호의 기반이 될 수 있음을 시사해 왔다. 그러나 이들 성과를 무용가의 춤을 입체 데이터로 보존·재현한다는 문제로 통합하여 검토한 연구는 확인되지 않는다. 이에 본 연구는 AI 기반 3D 복원과 확장현실 기술에 관한 문헌을 고찰하여, 무용가 디지털 레거시 구축의 가능성을 탐색하는 것을 목적으로 한다. 구체적인 연구문제는 다음과 같다.

첫째, 2차원 영상으로부터 무용가의 동작과 외형을 3차원으로 복원하는 기술은 어느 수준에 이르렀는가?

둘째, 복원된 춤을 확장현실 환경에서 구현하고 무용 교육 모델로 활용할 수 있는 가능성은 어떠한가?

셋째, 안무저작권과 퍼블리시티권 등 디지털 레거시 구축의 제도적 조건은 무엇인가?

본 연구는 다음의 의의를 갖는다. 첫째, 산재한 3D 복원·구현 기술 문헌을 동작 복원, 외형 복원, 생성·재연, 구현·활용의 4계층 분석틀로 구조화하여 무용 기록의 입체화라는 의제를 무용학에 제시한다. 둘째, 국내 동작 정량화 및 안무저작권 연구의 계보를 3차원 데이터의 차원으로 확장한다. 셋째, 사후 아카이브형 복원의 대표 사례로서 최승희의 현존 기록 자료 현황을 기술적 복원 가능성의 관점에서 정리하고(Ⅳ장 2절), 이를 토대로 사후 아카이브형과 생전 캡처형 구축을 구분한 시나리오와 후속 실증 연구의 단계적 로드맵을 도출한다.

Ⅱ. 연구방법

1. 연구설계

본 연구는 문헌 고찰(literature review)을 연구 방법으로 채택하였다. 그 성격을 명시하면, 본 연구의 고찰은 개별 연구의 효과크기를 통계적으로 통합하는 체계적 문헌고찰(systematic review)이 아니라, 명시적인 검색·선별 절차를 갖추되 주제를 개념적으로 종합하는 준체계적 고찰(semi-systematic review)에 해당한다. 문헌 고찰은 특정 개입의 효과를 통계적으로 검증하기보다, 이질적이고 발전 속도가 빠른 신생 연구 영역의 지형을 조망하여 핵심 개념을 정리하고 지식의 공백을 규명하는 데 적합한 방법이다. 본 연구가 다루는 AI 기반 3D 복원·확장현실 기술은 연구 설계와 기술 스택이 이질적이고 발전 속도가 빠르므로, 개별 연구의 효과크기를 통합하기보다 산재한 문헌을 폭넓게 수집하여 그 동향을 구조화하고 개념적으로 종합하는 접근이 요구된다. 이에 본 연구는 관련 문헌을 수집·검토한 뒤, 본 연구가 구성한 4계층 분석틀에 따라 기술 동향을 분류·분석하고, 이를 무용가 디지털 레거시 구축의 세 시나리오와 교차하여 그 가능성과 과제를 논의하는 방식으로 고찰을 수행하였다.

2. 연구대상

문헌 검토는 국외 데이터베이스로 Web of Science, Scopus, IEEE Xplore, ACM Digital Library를, 프리프린트 저장소로 arXiv를, 국내 데이터베이스로 KCI, RISS, DBpia를 활용하였다. 검색어는 무용 관련어와 기술 관련어의 조합으로 구성하였으며, 국외의 경우 dance, dancer, choreography, human performance, 3D reconstruction, pose estimation, volumetric capture, neural radiance, gaussian splatting, motion generation, virtual reality, extended reality, hologram을 기본 키워드로 하였다. 국내 데이터베이스에서는 이에 대응하여 무용, 춤, 안무, 3차원 복원, 3D 복원, 자세 추정, 동작 인식, 모션캡처, 인공지능, 가상현실, 증강현실, 확장현실, 홀로그램을 기본 키워드로 하였다. 검토 시기는 본 고찰의 기술적 축이 되는 파라메트릭 인체 모델 SMPL이 공개되어(Loper et al. 2015, 1) 단안 영상 기반 3차원 인체 복원 연구가 본격화된 2015년부터 2026년 6월까지로 설정하였다.

검토 대상 문헌은 다음과 같이 한정하였다. 첫째, 인물의 동작 또는 외형을 2차원 영상이나 다중 시점 촬영으로부터 3차원으로 복원·렌더링하는 기술을 다룬 문헌, 둘째, 무용을 대상으로 동작의 기록·복원·생성·평가·교육에 관한 기술을 적용한 문헌, 셋째, 가상현실·증강현실·확장현실 환경에서 무용 학습 또는 인물 재현을 구현·검증한 문헌, 넷째, 동료심사를 거친 학술지 논문과 주요 국제학술대회 논문을 우선 대상으로 삼았다. 기술적 내용 없이 담론 수준에 머무는 문헌, 신체 동작·외형 정보와 무관한 문헌은 검토에서 제외하되, 기술 발전 속도를 고려하여 arXiv 프리프린트는 피인용 수가 상당하거나(Google Scholar 기준 100회 이상), 공개 구현체가 광범위하게 활용되고 있거나, 해당 주제를 포괄하는 대체 불가능한 종합 문헌인 경우에 한하여 예외적으로 포함하고, 본문에 프리프린트임을 명시하였다. 이상의 키워드에 따른 데이터베이스 검색과 전방·후방 인용 추적(citation chasing)을 병행하여 잠재적 관련 문헌 총 83건을 식별하였다. 프리프린트와 학술대회 게재본의 이중 수록 등 서지 중복 12건을 제거한 뒤, 제목과 초록을 기준으로 포함·제외 기준을 적용하여 55건을 1차 선별하였고, 전문 검토를 거쳐 최종 34건(국외 26건, 국내 8건)을 분석 대상으로 확정하였다. 이때 ‘논의에 유효한 문헌’의 조작적 기준은 첫째, 후술할 4계층 중 하나 이상의 기술 범주에 직접 대응할 것, 둘째, 무용 도메인 적용이 명시되어 있거나 인체의 동작·외형 일반을 다루어 무용에의 전용이 가능할 것, 셋째, 방법·데이터·결과 중 하나 이상을 확인할 수 있을 것의 세 가지로 설정하였다. 선별은 연구자가 전수 수행하였으며, 포함 여부의 판단이 모호한 문헌은 포함·제외 기준을 재적용하여 전문을 재검토한 뒤 결정하였다. 분석 대상 선별과 별도로, 무용사·기록학·공연학·법제 관련 배경 문헌과 보도·웹 자료는 논의의 맥락 자료로 보조 인용하였다.

3. 분석틀의 설정

검토 문헌은 본 연구가 구성한 4계층 분석틀에 따라 분류·분석하였다. 본 연구가 이 네 계층을 분석의 축으로 삼은 근거는 두 가지이다.

첫째, 무용가의 춤을 입체 데이터로 재현하는 과정은 상호 독립적인 기술의 병렬이 아니라, 앞 단계의 산출이 뒤 단계의 입력이 되는 의존적 순차 구조를 이룬다. 곧 움직임의 골격을 먼저 확보해야(동작 복원) 그 위에 신체·의상·얼굴의 실사 외형을 입힐 수 있고(외형 복원), 결손 구간의 보간과 신규 시퀀스의 생성은 앞의 두 산출을 전제로 하며(생성·재연), 완성된 재현물은 관람·교육의 환경에서 전달됨으로써(구현·활용) 비로소 레거시로 기능한다.

둘째, 이 구분은 인체 디지털화 문헌이 실제로 조직되어 온 방식과 정합한다. 3차원 인체 아바타 모델링을 개관한 Wang et al.(2024, 1)의 서베이(arXiv 프리프린트)는 이 분야를 실제 대상으로부터 형상·외형을 복원하는 ‘재구성(reconstruction)’과 학습된 분포로부터 새로운 인체를 만들어 내는 ‘생성(generation)’의 두 축으로 정리하는데, 이는 본 연구의 외형 복원과 생성·재연 계층에 각각 대응한다. 그 앞단의 인체 자세 추정(Cao et al. 2017, 7291)과 파라메트릭 인체 모델(Loper et al. 2015, 1), 뒷단의 확장현실 구현(Li, K. et al. 2025[arXiv 프리프린트], 1)을 더하면, 네 계층은 임의적 분류가 아니라 재현 과업의 논리적 공정과 기술 분야의 구획을 동시에 반영한 틀이 된다. 이 틀이 기존 문헌의 분류와 구별되는 지점은 다음과 같다. Wang et al.(2024, 1)의 재구성/생성 2축이 아바타 ‘모델링 기법’의 분류라면, 본 연구의 4계층은 무용가 한 사람의 춤을 기록에서 재현까지 옮기는 ‘공정 전체’를 포괄하도록 그 앞단(동작 복원)과 뒷단(구현·활용)을 추가한 것이다. 각 계층은 레거시 구축에서 서로 다른 기능, 곧 원자료의 확보(동작 복원), 시각적 실재감의 부여(외형 복원), 결손의 보완(생성·재연), 사회적 전달(구현·활용)을 담당한다. 아울러 이 분석틀은 문헌 분석에 선행하여 선행연구로부터 연역적으로 설정한 개념적 렌즈이며, 그 적합성은 Ⅲ장에서 각 계층에 문헌이 실제로 정합하게 배치되는지를 통해 확인된다.

각 계층의 정의와 대응 기술, 대표 문헌은 아래 <표 1>과 같다.

Ⅲ. AI 3D 복원 및 구현 기술 동향 분석

이하의 분석은 Ⅱ장 3절에서 설정한 4계층 분석틀을 렌즈로 삼아 계층별 기술 계보와 대표 문헌을 검토하며, 이를 통해 분석틀 자체의 타당성을 함께 검증한다.

1. 동작 복원 계층

동작 복원 계층은 2차원 영상으로부터 무용가의 골격과 관절 궤적을 3차원으로 재구성하는 기술군이다. 실시간 다인 자세 추정(Cao et al. 2017, 7291)과 모바일 기기용 경량 자세 추적(Bazarevsky et al. 2020[arXiv 프리프린트], 1)이 등장하면서 일반 영상 기반 골격 추출은 널리 쓰이는 기술이 되었고, SMPL(Loper et al. 2015, 1)계열 모델에 기반한 단안 영상 3D 복원은 단일 이미지로부터 인체의 형상과 자세를 회귀하는 이미지 기반 방법(Kanazawa et al. 2018, 7122)에서 시간적 일관성을 강화하는 비디오 기반 방법(Kocabas et al. 2020, 5258)으로, 다시 카메라 좌표계를 넘어 세계 좌표계에서 무용수의 전역 궤적까지 복원하는 방법(Shin et al. 2024, 2070)으로 발전해 왔다. 다만 이 계열의 방법들은 대체로 모션캡처 데이터셋으로 학습되기 때문에 학습 분포에 과소 표현된 동작 유형에 대한 일반화가 제한된다는 한계가 지적되며, 이를 극복하기 위해 인터넷 영상으로부터 2D 동작 사전지식을 직접 학습하여 체조나 무술처럼 모션캡처 컬렉션에 드문 동작까지 세계 좌표계에서 재구성하는 접근이 최근 제안되고 있다(Li, H. et al. 2026, 13876-13877).

이러한 일반화 문제는 국내 실증에서도 확인되는데, 최종환(2022)은 학습되지 않은 희귀한 자세, 신체 일부의 프레임 이탈, 비정면·원거리 조건에서 키포인트 탐지 성능이 저하됨을 보고한 바 있어, 무용 특유의 자세 어휘에 대한 도메인 적응이 선결 과제임을 뒷받침한다. 특정 춤 장르의 신체 어휘가 별도의 데이터 구축과 모델 적응을 요구한다는 점은 인도 고전무용에 심층학습 기반 자세·손동작 인식을 적용한 선행 연구에서도 확인된다(Mohanty et al. 2016, 529; Kishore et al. 2018, 1-2). 응용 수준에서는 영상 속 무용수를 3D 아바타로 재구성하고 자세, 궤적, 대형, 타이밍의 차원에서 안무를 분석·비교하는 DanceSculpt 시스템이 무용수 간 근접과 겹침으로 인한 오클루전을 3D 재구성의 강건성으로 극복하려는 설계를 보여주었다(Lee et al. 2024, 5406-5408). 사후 아카이브 영상에 이 계층을 적용할 때에는 저해상도, 프레임 손실, 색 열화가 추가 관문이 되며, 초해상도와 프레임 보간 등 영상 복원 기술과의 연쇄가 요구된다.

2. 외형 복원 계층

외형 복원 계층은 무용가의 신체, 의상, 얼굴을 실사 수준으로 재현하여 관람자가 시점을 자유롭게 이동하며 볼 수 있게 하는 기술군으로, 보이는 것을 실제와 같이 만든다는 본 연구의 문제의식에 가장 직접적으로 대응하며, Wang et al.(2024, 1)이 정리한 ‘재구성’ 축의 문헌군이 여기에 해당한다. 기술 계보의 출발점은 다중 시점 카메라 배열로 인물의 연행을 촬영하여 스트리밍 가능한 자유 시점 비디오를 생성한 볼류메트릭 캡처 연구이며(Collet et al. 2015, 1), 이후 신경 방사장(NeRF)이 촬영 이미지들로부터 장면의 연속적 3차원 표현을 학습하는 패러다임을 열었고(Mildenhall et al. 2020, 405), 단안 영상만으로 움직이는 인물의 자유 시점 렌더링을 달성한 HumanNeRF(Weng et al. 2022, 16210)가 인물 도메인으로의 확장 가능성을 보여주었다. 실시간성의 관문은 3D 가우시안 스플래팅(Kerbl et al. 2023, 1)이 열었다. 가우시안 표현 기반의 인간 중심 볼류메트릭 비디오 연구는 고충실도 인물 연행 렌더링(HiFi4G)과 몰입형 재생을 위한 강건한 동적 표현으로 빠르게 발전하고 있으며(Jiang et al. 2024a, 19734; 2024b, 1), 단안 영상으로부터 관절형 가우시안 인체 모델을 구축하는 GauHuman(Hu, S. et al. 2024, 20418-20419)은 단일 시점 영상만으로 외형을 복원하는 경로를 제시한다. 이 계층의 핵심 관건은 입력 조건의 간극이다. 최고 품질은 여전히 수십 대 이상의 카메라를 갖춘 다시점 캡처에서 나오므로 생전 캡처형 시나리오에 적합하고, 단안·아카이브 영상 기반 복원은 급속히 발전하고 있으나 화질과 시점 다양성의 제약 아래에서 충실도 손실을 감수해야 하므로 사후 아카이브형 시나리오의 기술적 상한을 규정한다.

3. 생성과 재연 계층

생성·재연 계층은 학습된 동작 분포로부터 새로운 시퀀스를 산출하거나 결손 구간을 보간하고, 이를 영상 또는 3차원 캐릭터의 형태로 재연하는 기술군으로, Wang et al.(2024, 1)의 ‘생성’ 축에 대응한다. 음악 조건부 무용 생성은 대규모 데이터셋 AIST++와 크로스모달 트랜스포머 모델의 공개(Li, R. et al. 2021, 13401) 이후 표준 과제로 자리 잡았고, 디퓨전 기반 동작 생성 모델(Tevet et al. 2023, 1)과 음악으로부터 편집 가능한 무용을 생성하는 EDGE(Tseng et al. 2023, 448)의 등장으로 생성 품질과 제어 유연성이 크게 향상되었다. 한 장의 인물 사진과 목표 동작 시퀀스만으로 일관된 캐릭터 애니메이션 영상을 합성하는 Image to Video 계열 연구인 Animate Anyone(Hu, L. et al. 2024, 8153)은 사진 자료가 풍부한 무용가의 재연 가능성을 시사한다. 그러나 레거시의 관점에서 이 계층은 신중한 경계 설정을 요구한다. 생성 모델의 산출물은 학습 분포의 보간이지 무용가가 실제로 춘 춤의 증거가 아니므로, 복원된 기록과 생성된 재연은 데이터의 지위에서 엄격히 구분되어야 하며, 고인의 스타일을 학습한 생성물의 공개·활용에는 생전 동의와 유족·권리자의 승인이라는 제도적 조건이 선행되어야 한다.

4. 구현과 활용 계층

구현·활용 계층은 복원·생성된 데이터를 VR·AR·XR 환경에서 재생하고 교육과 감상에 활용하는 기술군이다. 라디언스 필드 연구가 급증하면서 XR 환경에서의 재생·상호작용과 실사 아바타 활용에 대한 관심이 커지고 있으나, XR 분야의 실제 기여는 아직 드문 단계이며(Li, K. et al. 2025, 1), 무용 교육 영역에서는 3D 재구성 기반 학습·분석 시스템(Lee et al. 2024, 5406)과 함께 VR의 학습 효과에 대한 실증이 축적되고 있다. 대학 무용 동작 학습에 대한 VR 효과의 메타분석은 협응과 힘 조절에서는 유의한 개선을 보였으나 동작 크기에서는 유의한 효과가 없었고(Zhu 2025, 6), 선행 연구를 근거로 부적 전이의 가능성을 경고하였으며(Zhu 2025, 8), 몰입형 VR의 몰입성·상호작용성·개인화가 민속무용 고등교육의 교육 효과를 직접, 그리고 수업 유용성·학습 용이성·흥미성을 매개로 향상시킨다는 실증 연구가 보고되었다(Feng and Zong 2025, 15467). 태국 란나 춤을 대상으로 모션캡처, 생성형 AI, 게임화된 가상환경을 통합한 몰입형 학습 시스템이 단일집단 사전·사후 준실험에서 지식 습득과 내재적 동기의 유의미한 향상을 보고한 사례(Intawong et al. 2025, 1)는 복원 데이터가 곧 교육 콘텐츠가 되는 경로를 보여준다. 교육적 관점에서 입체 재현의 고유 이점은 분명하다. 학습자는 스승의 춤을 임의의 각도에서, 임의의 속도로, 자신의 신체와 겹쳐 관찰할 수 있으며, 이는 단일 시점 영상 학습이 원리적으로 제공할 수 없는 경험이다. 다만 메타분석이 시사하듯 VR 학습의 전이 효과는 조건 의존적이므로, 입체 레거시의 교육 모델은 대면 교육의 대체가 아니라 보완 도구로 위치한다.

5. 종합

이상의 분석을 요약하면 다음 <표 2>와 같다. 아래 표에서 확인되듯 동작 복원과 다시점 기반 외형 복원은 성숙 단계에 진입하였으나, 단안·아카이브 영상 기반 외형 복원과 XR 구현은 발전 중이며, 무엇보다 네 계층을 무용가 한 사람의 레거시 구축이라는 단일 과제로 통합하여 검증한 연구는 본 연구가 검토한 범위에서는 찾기 어려웠다. 이 공백이 Ⅳ장 논의의 출발점이다.

Ⅳ. 무용가 디지털 레거시 구축의 가능성과 과제

1. 세 가지 구축 시나리오

기술 동향을 입력 조건과 교차하면 레거시 구축은 세 시나리오로 구분된다. 첫째, 생전 캡처형이다. 현역 또는 생존 무용가를 대상으로 다시점 볼류메트릭 캡처와 모션캡처를 수행하여 최고 충실도의 동작·외형 데이터를 확보하는 방식으로, ABBA Voyage가 입증한 경로이다. 기술적 불확실성이 가장 낮은 대신 촬영 인프라 비용이 크며, 원로 무용가의 고령화를 고려할 때 시급성이 가장 높은 시나리오이다. 둘째, 사후 아카이브형이다. 최승희처럼 2차원 기록 중심의 아카이브 자료가 남은 무용가를 대상으로 동작 복원과 외형 복원 기술을 아카이브 영상에 적용하고, 결손 구간은 생성 기술로 보완하되 문헌·사진 사료와 전승 계보의 검증을 결합하는 방식이다. 신상미(2006)가 보여준 도상 자료 기반 해석의 방법론에 3차원 데이터의 차원을 더하는 경로로서, 기술적 난도와 학술적 의의가 모두 가장 높다(현존 자료의 구체적 조건은 다음 절에서 정리한다). 셋째, SNS 아카이브형이다. 스트릿·힙합 무용가처럼 공식 기록은 빈약하나 SNS에 다수의 저화질 영상이 산재하는 경우로, 동일 인물의 다중 영상을 융합하여 복원 품질을 높이는 접근이 요구된다. 대량의 2차원 영상이 이미 존재한다는 점에서 실용무용 분야에 가장 현실적인 진입로가 된다.

2. 사후 아카이브형의 실증적 조건: 최승희 현존 기록 자료 현황

사후 아카이브형 시나리오의 성립 여부는 전적으로 현존 자료의 물리적 조건에 달려 있다. 이에 본 절에서는 대표 사례인 최승희의 현존 기록 자료를 영상·사진·문헌의 세 범주로 정리하고, 각 자료가 Ⅲ장에서 검토한 복원 기술의 입력 조건을 어느 정도 충족하는지를 평가한다. 다음 <표 3>은 공개 보도와 선행 연구를 통해 확인되는 주요 자료의 현황이다.

영상 자료의 축은 두 가지이다. 첫째, 무용영화 ｢사도성의 이야기｣(1956)이다. 최승희가 1954년 창작·초연한 동명의 무용극(5막 6장)을 총천연색으로 영화화한 북한 최초의 컬러 영화로, 최승희가 직접 안무와 주연을 맡았다(연출 정준채; 한국민족문화대백과사전 n.d.). 1998년 중앙일보가 러시아의 영화 수집가로부터 필름을 입수하여 국내에 처음 공개하였으며, 장편 분량의 컬러 영상에 최승희 본인의 전신 연행이 다수 포착되어 있다는 점에서 동작·외형 복원의 1차 입력 후보로서 가치가 가장 높다. 다만 영화적 컷 편집에 따른 시점 단절과 단일 카메라 조건은 Ⅲ장에서 확인한 단안 복원의 한계 조건을 그대로 공유한다. 둘째, 기록영화 ｢조선민족무용기본｣이다. 최승희가 정립한 무용기본 동작 체계를 담은 16mm 기록영화로, 재일 무용가 백홍천이 1967년 입수하여 보존해 온 필름 원본이 2012년 숙명여자대학교에 기탁되었다(조민서 2012). 동작 단위로 분절·체계화된 촬영 구성은 무용 어휘(motion vocabulary) 데이터 구축과 결손 구간 보간의 준거 자료로서 독자적 가치를 지닌다. 이 밖에 일제강점기 출연 극영화 ｢반도의 무희｣(1936)와 뉴스릴·다큐멘터리에 수록된 단편 연행 영상이 산재하나, 완본 필름의 소재와 물리적 상태에 대한 체계적 목록화는 아직 이루어지지 않은 상태이다.

사진 자료는 상대적으로 풍부하다. 2016년에는 촬영 일시·장소·촬영자가 이면에 기재된 원판 사진 700여 장이 언론을 통해 공개된 바 있으며(송은아 2016), 이는 신상미(2006)가 보살춤 분석에서 활용한 도상 자료의 범위를 크게 확장하는 동시에 Ⅲ장 3절에서 검토한 이미지 기반 재연 기술의 직접적 입력 자료가 될 수 있다. 문헌 자료로는 공연 사진을 수록한 『최승희 무용극 대본집』(최승희 1958) 등 1차 문헌과 100건 이상의 연구 성과가 축적되어 있다(한경자 2012). 최승희의 활동이 당대 한국과 일본 양쪽에서 반향을 일으켰던 만큼(김채원 2010), 국내 미소장 자료의 소재 파악에는 일본·중국·러시아 아카이브에 대한 조사가 병행되어야 한다.

요컨대 최승희의 사례는 ‘단편적 자료만 남은 무용가’라기보다, ‘장편 컬러 영상 한 편과 체계적 기본동작 기록영화, 대규모 사진군이 남아 있으나 다시점·고해상 조건은 결여된 무용가’로 구체화된다. 이 조건은 Ⅲ장의 기술 검토와 교차할 때 초해상도·프레임 보간 등 영상 복원 전처리와 단안 기반 동작·외형 복원의 연쇄 적용이라는 경로를 지시하며, Ⅳ장 1절에서 사후 아카이브형의 기술적 난도와 학술적 의의를 모두 가장 높게 평가한 판단의 실증적 근거가 된다. 다만 개별 영상의 정확한 분량, 해상도, 프레임률, 시점 구성 등 물리적 조건의 정밀 실사는 원본 필름에 대한 접근을 전제로 하므로, Ⅳ장 7절의 후속 연구 1단계 과제로 설정한다.

3. 기술적 과제

첫째, 아카이브 영상의 품질 문제이다. 저해상도, 낮은 프레임률, 압축 열화, 단일 시점은 동작·외형 복원 모두의 정확도를 제약하며, 영상 복원 기술과 3D 복원 기술의 연쇄 파이프라인에 대한 무용 도메인 검증이 필요하다. 둘째, 오클루전 문제이다. 군무에서의 무용수 간 겹침과 의상에 의한 관절 가림은 복원 오류의 주요 원인이므로, 무용 영상에 특화된 강건성 검증이 요구된다. 셋째, 충실도 평가의 문제이다. 복원된 춤이 원본에 얼마나 가까운지를 판정할 정량 지표와 전문가 합의 기반 평가 루브릭이 부재하며, 이는 복원 결과의 학술적·법적 지위를 좌우하는 선결 과제이다. 넷째, 통합 파이프라인의 부재이다. 동작 복원과 외형 복원은 각기 발전하고 있으나 하나의 무용 아카이브 영상에 두 계층을 통합 적용하여 시점 이동 가능한 실사 재현까지 도달한 검증 사례가 없다. 다섯째, 스타일 보존의 문제이다. 생성적 보완이 개입하는 순간 무용가 고유의 스타일이 훼손될 위험이 있으므로, 개인 스타일의 정량 표현과 보존을 명시적 목표로 하는 접근이 필요하다.

4. 제도적 과제: 안무저작권과 퍼블리시티권

3차원 복원 데이터는 제도적 차원에서 이중의 의미를 갖는다.

첫째, 권리 보호의 자산이라는 측면이다. 안무저작권의 보호 대상이 동작, 동작의 연결, 동작 패턴이라면(홍미성 2016), 무용가의 동작을 삼차원 좌표의 시계열로 확보하는 것은 실질적 유사성 판단(황희정 2013)에 제공될 수 있는 가장 정밀한 정량 증거를 구성한다. 이는 2차원 키포인트 기반의 정량화(최종환 2022, 45-49)를 3차원으로 확장하는 것이며, 블록체인·NFT 기반의 등록·증명 수단(이루라, 이경주 2020, 139; 김상준 2022)과 결합될 수 있다.

둘째, 권리 침해의 위험이라는 측면이다. 사후 재현을 둘러싼 해외의 논의가 보여주듯, 고인의 초상과 연행의 상업적 활용은 퍼블리시티권, 유족의 권리, 생전 동의의 부재라는 쟁점을 수반하며(Gowling WLG 2020;Kingsley n.d.), 특히 생성 기술이 개입한 재연물은 Ⅲ장 3절에서 구분한 ‘복원 기록’과 ‘생성물’의 경계를 흐려 고인의 예술적 정체성을 침해할 수 있다.

따라서 레거시 구축 사업의 설계 원칙은 다음과 같이 정리된다. 데이터 수집 단계에서부터 무용가 본인 또는 권리자와의 서면 합의를 선행하고, 활용 범위와 수익 배분을 명문화하며, 생성적 재연에 대해서는 복원 기록과 구분되는 별도의 승인 절차를 두는 것이다. 로빈 윌리엄스가 신탁을 통해 초상 관련 권리를 재단에 이전하고 사후 25년간 상업적 활용을 제한한 사례(Gardner 2015)는 생전의 명시적 의사 표시를 제도화하는 실무적 선례로 참조될 수 있다. 이는 기술 개발과 분리될 수 없는 병행 과제이다.

5. 교육 모델로서의 활용 가능성

입체 레거시의 교육적 잠재력은 세 층위로 정리된다. 첫째, 관찰의 확장이다. 학습자는 레전드의 춤을 정면이라는 단일 시점의 속박에서 벗어나 측면, 후면, 상부 등 임의 시점에서 관찰할 수 있으며, 이는 발의 스텝과 무게 이동처럼 정면 영상에서 가려지는 정보의 학습에 직접적 이점을 갖는다. 둘째, 체화의 지원이다. VR 환경에서 학습자는 복원된 무용가와 같은 공간에 서서 동작을 겹쳐 보고 1인칭으로 모사할 수 있으며, 자세 비교 피드백 기술과 결합하면 개별화된 교정이 가능하다. 셋째, 교재의 항구화이다. 레전드의 시그니처 동작과 대표작이 입체 데이터로 보존되면 세대를 넘어 반복 참조 가능한 표준 교재가 되며, 이는 사사 관계의 단절로 유실되던 지식의 제도적 축적을 의미한다. 다만 VR 무용 학습의 효과가 동작 요소별로 엇갈린다는 메타분석 결과를 고려할 때, 입체 레거시 기반 교육은 대면 교육을 대체하는 것이 아니라 관찰·예습·복습을 강화하는 보완재로 설계되어야 하며, 그 효과는 후속 실증으로 검증되어야 한다.

6. 무보와 입체 기록의 상보성

입체 기록의 기록학적 위치를 분명히 하기 위해서는 무용 기록의 전통적 수단인 무보(舞譜)와의 관계를 정리할 필요가 있다. 서론에서 무보를 정보 손실 매체의 계열에 두었으나, 무보와 3차원 데이터는 동일 대상에 대한 우열 관계가 아니라 서로 다른 것을 기록하는 이종(異種)의 매체이다. 라바노테이션으로 대표되는 무보는 기보자의 해석을 경유하는 대신 동작의 의도와 구조, 곧 그 움직임이 반복 가능한 단위로서 ‘무엇이어야 하는가’를 기호로 남긴다. 던컨의 레퍼토리 300여 편이 후예들의 몸을 경유하여 라바노테이션으로 옮겨질 수 있었던 것도, 무보가 개별 연행이 아니라 작품의 구조를 기록하는 매체이기 때문이다(Nahumck 1994). 반면 3차원 데이터는 해석을 배제하는 대신 특정 1회 연행의 표층 궤적, 곧 그 무용가가 그 순간 ‘실제로 어떻게 움직였는가’만을 담는다. 따라서 입체 기록은 무보를 대체하지 않는다. 무보가 작품의 전승 가능한 구조를 보존한다면 입체 기록은 무용가 개인의 연행적 실재를 보존하며, 구조의 기보와 연행의 데이터가 상호 참조될 때 무용 기록은 비로소 작품과 무용가를 함께 후대에 남길 수 있다. 3차원 동작 데이터로부터 무보 표기를 자동 도출하거나, 역으로 무보를 참조하여 복원 결손 구간의 동작 구조를 검증하는 작업은 무용기록학이 주도할 수 있는 후속 연구 주제이다.

7. 후속 연구 로드맵

이상을 종합하여 3단계 로드맵을 제안한다. 1단계는 파일럿 레거시 구축으로, 무용 분야의 원로 무용가 1인을 선정하여 생전 캡처형의 경우 시그니처 동작 단위의 다중 시점 캡처를 수행하고, 사후 아카이브형의 경우 Ⅳ장 2절에서 정리한 현존 자료의 물리적 조건(분량, 해상도, 프레임률, 시점 구성, 소장처와 접근 조건)에 대한 정밀 실사를 선행한 뒤 대표작 영상에 대한 동작·외형 복원 연쇄의 적용을 수행하고, 시점 이동 가능한 3차원 재현물을 산출한다. 2단계는 충실도 평가 체계의 개발로, 복원물의 원본 근접성을 판정할 전문가 합의 기반 평가 루브릭을 델파이와 AHP 등 전문가 평가 방법으로 도출하고 정량 지표와의 상관을 검증한다. 이는 무용 평가지표 개발이라는 별도 연구 트랙과 방법론을 공유한다. 3단계는 XR 교육 프로토타입의 실증으로, 복원된 레거시를 VR 학습 환경에 구현하고 준실험 설계로 학습 효과를 검증한다. 전 단계에 걸쳐 무용가 본인 또는 권리자와의 데이터 권리 합의가 전제되어야 한다.

Ⅴ. 결론 및 제언

본 연구는 무용가의 춤을 사후에도 입체적으로 보존·재현하는 디지털 레거시 구축의 가능성을 탐색하기 위해 AI 3D 복원과 확장현실 기술 문헌을 검토하고, 동작 복원, 외형 복원, 생성·재연, 구현·활용의 4계층 분석틀로 구조화하였다. 연구문제에 대한 답을 요약하면 다음과 같다.

첫째, 2차원 영상으로부터의 3차원 동작 복원과 다중 시점 기반 실사 외형 복원은 성숙 단계에 진입하였으며, 단안·아카이브 영상 기반 외형 복원도 빠르게 발전하고 있으나 무용 도메인에서 두 계층을 통합 검증한 연구는 검토 범위에서 확인되지 않았다.

둘째, XR 재생과 VR 무용 학습의 실증이 축적되면서 복원된 레거시를 자유 시점 관찰과 1인칭 체화가 가능한 교육 모델로 구현할 수 있는 조건이 형성되고 있으나, 동작 요소별로 엇갈리는 학습 효과를 고려한 보완재적 설계가 요구된다.

셋째, 3차원 동작 데이터는 안무저작권의 정량 증거이자 등록 기반이 될 수 있는 동시에 퍼블리시티권과 사후 동의의 쟁점을 수반하므로, 권리 합의의 사전 설계가 기술 개발과 병행되어야 한다.

이상의 답변에서 현재 기술 수준에서 가능한 것과 향후 연구를 요하는 것은 명확히 구분된다. 현재 가능한 것은 일반 영상으로부터의 3차원 골격 복원, 다시점 캡처 기반의 실사 자유시점 재현, XR 환경에서의 재생이다. 반면 사후 아카이브 영상에 대한 동작·외형 복원의 통합 적용, 복원 충실도의 평가 체계, 무용가 고유 스타일의 보존 검증은 아직 검증되지 않은 향후 과제이다. 이 구분의 중심에는 본 연구가 일관되게 유지해 온 원칙, 곧 무용가가 실제로 춘 춤의 ‘복원 기록’과 학습 분포로부터 산출된 ‘생성물’은 데이터의 지위에서 엄격히 구분되어야 하며 후자가 전자를 대신하여 무용가의 춤으로 제시되어서는 안 된다는 원칙이 놓인다. 입체 레거시의 학술적·법적 신뢰는 복원 과정과 생성 개입 구간을 명시적으로 표기하는 이 구분의 제도화에서 출발한다.

아울러 본 연구의 기획이 전제하는 보존의 가치가 자명한 것은 아니라는 점도 밝혀 둔다. 공연학에는 공연의 사라짐을 그 존재론적 조건으로 보고 기록·재현이 오히려 원본을 대체하거나 왜곡한다고 보는 비판적 관점이 제기되었으며, 사라짐 명제를 재검토하며 공연이 다른 방식으로 남는다는 반론도 축적되어 있으며(Phelan 1993, 146; Schneider 2011), 이 관점에서 입체 레거시는 살아 있는 연행을 데이터로 물화한다는 비판에 직면할 수 있다. 본 연구는 이 비판을 다음과 같이 수용한다. 입체 기록은 연행 그 자체가 아니라 특정 1회 연행의 표층 궤적을 담은 또 하나의 매체이며, 전승과 재해석이라는 살아 있는 실천을 대체하는 것이 아니라 그 실천이 참조할 수 있는 자료의 층위를 넓히는 것이다. 기록을 원본의 복구가 아니라 새로운 해석과 창작의 재료로 보는 동시대 담론(Taylor 2003, 19; Lepecki 2010)과 본 연구의 접점도 여기에 있다. 복원된 레거시는 완결된 원본의 재림이 아니라, 후대의 몸이 다시 춤추기 위해 참조하는 열린 사료로 위치한다.

본 연구의 기여는 다음과 같다. 이론적으로는 춤의 소멸성과 2차원 기록의 구조적 한계로부터 무용가 디지털 레거시 개념을 도출하고, 기록의 입체화를 무용기록학의 의제로 제시하였다. 방법론적으로는 산재한 기술 문헌을 4계층 분석틀로 지도화하고 생전 캡처형, 사후 아카이브형, SNS 아카이브형의 세 구축 시나리오를 구분하였다. 실천적으로는 최승희의 현존 기록 자료 현황을 복원 가능성의 관점에서 정리하고, 국내 딥러닝 기반 무용 영상·이미지 분석 연구(최종환 2022, 2023)와 안무저작권 연구의 계보를 3차원 데이터의 차원으로 확장하는 경로를 구체화하고, 검증 가능한 3단계 후속 연구 로드맵을 제시하였다.

본 연구의 한계는 다음과 같다. 본 연구는 문헌 고찰에 기반하므로 개별 기술의 성능을 직접 실험·검증하지 않았으며, 기술 발전 속도를 고려할 때 본 고찰의 시효는 제한적이다. 또한 검토 문헌을 영어와 한국어로 한정하여 여타 언어권의 문헌이 누락되었을 가능성이 있다. 후속 연구에서는 제안된 로드맵의 1단계, 곧 원로 무용가 파일럿 레거시의 구축과 함께, 복원 충실도 판정을 위한 전문가 합의 기반 평가지표의 개발이 병행되기를 제언한다. 사라지는 것이 춤의 숙명이었다면, 이제 그 숙명의 범위를 다시 정하는 일은 기록하는 자의 몫이다.