[이런 논문] 자세에 점수를 매겨주는 딥러닝

by 집필진 2024. 8. 29. 00:02

사진을 활용하여 사람의 자세를 재구성하는 서비스는, 현재 아무 헬스케어 박람회를 가보더라도 다섯 개 이상은 볼 수 있다. 그 모두가 카메라 한 대를 바탕으로 2D 각도를 재는 방식이라고 단언할 수 있다. 그리고 그 정확성은 이루 말할 것 없이 떨어진다고도 단언할 수 있다. CVPR 2023에서는 2D 이미지를 바탕으로 3D로 자세를 수차례 재구성하면서 가장 높은 점수를 받은 결과물을 뱉어주는 딥러닝 모델이 발표되었다.

GFPose: Learning 3D Human Pose Prior With Gradient Fields (thecvf.com)

인체를 재구성하는 다양한 모델링 툴(OpenSim, AnyBody 등)에서는 아직까지도, 단순히 관절 각도를 미리 설정해둠으로써 그럴듯한 사람의 자세를 모방하도록 한다. 하지만 사람들의 가동범위가 다르고 신체 치수가 다른 와중에 그렇게 얼기설기 짜둔 제약조건이 들어맞을리 없다. 그래서 점 더 그럴듯한 결과물을 위해서는 사람이 일일이 모델링 결과물을 손봐줘야 했다.

본 연구에서 발표한 GFPose 방식은, 실제 사람의 2D 이미지와 정밀하게 측정된 자세 정보를 학습한다. 그 결과 임의의 자세 데이터가 2D로 주어졌을 때, 3D 자세 정보를 뱉어준다. 학습 시에는 자세 정보에 여러 노이즈를 가미하면서, 원본 자세에 가장 높은 점수를 매길 수 있는 채점 방식을 만들어 낸다. 그리고 실제로 모델을 돌릴 때는 그 채점 방식을 활용하여, 여러 자세 후보를 만들어놓고 가장 높은 점수를 받은 결과물만 남기는 방식이다.

좀 어렵게 들릴 수도 있지만, 사실 이는 Diffusion Model이라고 하는 원시적인 모델을 거의 그대로 사용한 것이다. Diffusion (확산) 이라는 이름이 암시하듯, 블러 처리된 이미지에서 선명한 이미지를 복구하는 방식으로 학습하는 모델이다. 현재 이미지 생성 AI에 모두 사용된 모델인데, 원체 학습이 어렵다. 들어가야하는 학습 데이터의 양도 어마무지하다.

본 연구가 높은 정확도를 보여줄 수 있는 모델을 만들었다는 점은 의미가 있겠지만, Diffusion Model이 본격적으로 연구되었던 2020년도에서 거의 5년이 지났음에도 해당 방법이 사용된 적이 없다는 것도 놀랍다. 학습 방법을 개선한 방식의 논문을 또 human pose에 적용한 연구가 있다면 아마 2024 CVPR에서 발표될 수 있지 않을까 싶다.