通常情況下，動作捕捉系統(tǒng)僅限于一個包含多臺攝像機的工作室，并且要求拍攝對象穿上裝有傳感器的服裝。然而，一種新的設(shè)置是基于一個單一的胸前安裝的攝像頭。該實驗系統(tǒng)被稱為MonoEye，由東京工業(yè)大學的一個團隊設(shè)計。該團隊由Hideki Koike教授領(lǐng)導，并與卡內(nèi)基梅隆大學的研究人員合作。

它包含一個裝有超廣角鏡頭的照相機，戴在拍攝對象的胸前。通過280度的視場角，該攝像頭不僅能拍攝到被拍攝對象前方的環(huán)境，還能拍攝到他們的手臂、腿部和面部。

圖片:搜狗截圖_2020-10-22_12-10-45.png

通過三個特別設(shè)計的深度神經(jīng)網(wǎng)絡(luò)對視頻進行分析，分別估計出被拍攝對象的三維身體姿勢、頭部姿勢以及攝像頭在周圍環(huán)境中的方位。這些數(shù)據(jù)被用來建立主體的動畫線框計算機模型，復制他們的動作。

到目前為止，MonoEye的神經(jīng)網(wǎng)絡(luò)已經(jīng)在一個由68萬張不同體型和尺寸的人進行各種活動的渲染數(shù)據(jù)集上進行了訓練，所以在系統(tǒng)優(yōu)化用于物理身體之前，還需要做一些工作。

不過最終，人們希望這項技術(shù)可能會被改進成像領(lǐng)帶夾或胸針一樣小巧的東西。然后，它可以作為傳統(tǒng)動作捕捉系統(tǒng)的一個更便宜、更簡單的替代品。

這項研究將在本周通過第33屆ACM用戶界面軟件和技術(shù)在線研討會發(fā)表。