近日,Meta AI 的一項(xiàng)研究顯示了一種新的虛擬化身模型,可以在 VR 中實(shí)現(xiàn)流暢的人體全身運(yùn)動(dòng),而無(wú)需額外的傳感器。
在對(duì) VR 頭顯(如 Meta Quest 2 或 Quest Pro)進(jìn)行由內(nèi)而外追蹤的情況下,主要追蹤用戶的頭部和手部。由于追蹤蹤攝像頭集成到頭顯外殼中,因此身體的其余部分在很大程度上保持隱藏狀態(tài)以進(jìn)行運(yùn)動(dòng)檢測(cè)。
在一項(xiàng)研究中,Meta AI 提出了一種新的虛擬化身系統(tǒng),該系統(tǒng)使用 AI 從這些稀疏數(shù)據(jù)中合成全身的流暢運(yùn)動(dòng),大大超過(guò)了以前的化身動(dòng)畫。
“Avatars Grow Legs”簡(jiǎn)稱“AGroL”,是一種擴(kuò)散模型,專門設(shè)計(jì)用于只需少量上半身信號(hào)就能追蹤全身運(yùn)動(dòng)。它基于多層感知(MLP)架構(gòu)和運(yùn)動(dòng)數(shù)據(jù)的新型調(diào)節(jié)方案。
根據(jù)研究人員的說(shuō)法,該模型應(yīng)該能夠預(yù)測(cè)整個(gè)身體的精確且流暢的運(yùn)動(dòng),這可以解決 VR 全身追蹤的問題,傳統(tǒng)追蹤難度較大的下半身追蹤應(yīng)該不是問題。到目前為止,偽影只有在接觸地面時(shí)偶爾發(fā)生。
由于 AGroL 可以實(shí)時(shí)執(zhí)行,因此也應(yīng)該適用于在線應(yīng)用。這可能很快就會(huì)使 Horizon Worlds 和其他社交 VR 應(yīng)用沒有腿的虛擬化身成為過(guò)去。
研究人員使用 AMASS 的動(dòng)作捕捉數(shù)據(jù)集展示了該模型的有效性。與 AvatarPoser 等其他化身系統(tǒng)相比,AGroL 的旋轉(zhuǎn)、位置和速度誤差明顯較少。
因此,AGroL 生成的運(yùn)動(dòng)更精確且更流暢。最重要的是,據(jù)說(shuō)基于 AGroL,虛擬化身出現(xiàn)手臂和腿部抖動(dòng)頻率要低得多。
關(guān)注我們
公眾號(hào):china_tp
微信名稱:亞威資訊
顯示行業(yè)頂級(jí)新媒體
掃一掃即可關(guān)注我們