[더팩트ㅣ울산=손연우 기자] 영화나 스포츠 중계처럼 화면이 수시로 바뀌는 영상에서도 여러 사람을 구분해 몸의 형태와 움직임을 3차원으로 복원하는 인공지능(AI) 기술이 개발됐다.

15일 울산과학기술원(UNIST)에 따르면 백승렬 인공지능대학원 교수팀은 촬영 각도가 달라지거나 화면이 확대돼도 같은 인물을 추적해 동작을 이어 복원하는 '멀티썸즈(Multi-THuMBS)'를 개발했다.

3차원 인체 복원은 영상 속 사람의 체형과 자세, 위치를 분석해 입체적인 인체 모형과 움직임을 만드는 기술이다. AI를 활용하면 여러 카메라의 원본 영상이나 촬영 정보를 모두 확보하지 않아도 일반 영상 하나로 사람의 동작을 복원할 수 있다.

기존 기술은 여러 각도에서 촬영한 장면을 이어 붙인 영화·드라마·스포츠 중계 영상에서 인물을 일관되게 추적하는 데 한계가 있었다. 정면으로 보이던 사람이 옆모습으로 등장하면 다른 사람으로 인식하거나, 카메라 각도에 따라 달라진 화면 속 위치를 실제 이동으로 잘못 해석해 인체 모형을 엉뚱한 곳에 배치하는 문제가 발생했다.

연구팀은 화면 전환 직전과 직후의 장면을 하나의 3차원 공간에 맞추는 방식으로 이 문제를 해결했다. 두 화면의 배경과 카메라 위치를 같은 기준으로 복원한 뒤 각 장면의 인체 모형을 배치하고, 인물 간 거리와 옷차림·자세를 비교해 같은 사람을 찾아 연결했다.

이렇게 설정한 공간 기준을 같은 장소를 촬영한 영상 구간 전체에 적용하고 관절의 이동 경로를 다듬어 화면이 바뀌어도 인물의 움직임이 자연스럽게 이어지도록 했다.

성능은 여러 사람의 동작을 여러 대의 카메라로 촬영한 공개 영상 자료 '에고휴먼스(EgoHumans)'에 화면 전환 편집을 적용해 평가했다. 복원 결과를 실제 3차원 동작 데이터와 비교한 결과, 영상 전체를 기준으로 한 관절 위치 오차가 비교 기술 중 가장 낮았다. 차순위 기술인 GVHMR보다 오차가 약 31% 줄었다.

추적하던 사람을 다른 사람으로 혼동하는 오류는 약 62% 감소했으며, 인물의 3차원 위치를 복원하는 데 필요한 카메라 위치 추정 오차도 절반으로 줄었다.

실제 영화 장면 자료인 'AVA'와 시트콤 '프렌즈', '빅뱅이론' 영상에서도 복원 성능을 확인했다. 화면 전환 전후의 관절 위치가 일치하는 비율은 90.7%로, 비교 기술인 프롬프트HMR(PromptHMR)의 62.7%보다 높았다. 복원된 동작이 떨리는 정도는 약 5분의 1로, 발이 바닥 위에서 미끄러지는 오류는 절반 이하로 감소했다.

연구팀은 별도의 다중 카메라 촬영 장비 없이 기존 편집 영상에서 여러 사람의 3차원 동작 데이터를 얻을 수 있다는 점에서 스포츠 경기 분석과 영상 콘텐츠 제작 등에 활용할 수 있을 것으로 기대했다. 배우의 움직임을 영화·게임 속 가상 캐릭터에 적용하거나 가상·증강현실(VR·AR) 콘텐츠를 만드는 데도 활용할 수 있다.

현재는 화면이 전환되더라도 같은 장소를 비추는 영상에 적용할 수 있다. 전혀 다른 장소로 장면이 넘어간 뒤에도 같은 인물을 계속 추적하는 기술은 후속 연구로 추진한다는 계획이다.

백승렬 교수는 "이번 기술로 영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람의 움직임을 3D로 이어서 복원할 수 있어, 스포츠 분석과 가상·증강현실 콘텐츠, 디지털 휴먼 제작 등에 활용될 것으로 기대한다"고 말했다.

이번 연구에는 영국 버밍엄대학교 장형진 교수와 CJ주식회사 연구진 등이 공동으로 참여했다. 연구 결과는 지난달 스웨덴 말뫼에서 열린 유럽컴퓨터비전학회(ECCV 2026)에서 발표됐다.

newsbu@tf.co.kr