解離的重要性：SAGE 在全身動作中表現優於統一 VQ-VAE 基準

連結表

摘要和 1. 介紹

1. 相關工作

   2.1. 從稀疏輸入重建動作

   2.2. 人體動作生成

2. SAGE: 分層化頭像生成和 3.1. 問題陳述和符號

   3.2. 解耦動作表示

   3.3. 分層動作擴散

   3.4. 實現細節

3. 實驗和評估指標

   4.1. 數據集和評估指標

   4.2. 定量和定性結果

   4.3. 消融研究

4. 結論和參考文獻

\ 補充材料

A. 額外消融研究

B. 實現細節

4.3. 消融研究

我們在 S1 設置下進行消融研究，以證明我們 SAGE Net 中每個組件的設計選擇。

\

\

\

\ 解耦碼本： 我們建立了一個使用統一動作表示的基準來評估解耦策略。具體來說，我們開發了一個全身 VQ-VAE 模型，將全身動作編碼到單一、統一的離散碼本中。其他組件與原始模型相同。表 5 中第一行和最後一行所示的結果表明，我們採用解耦潛變量的方法在所有評估指標上顯著優於基準。這證明了解耦可以簡化學習過程，使模型能夠專注於更有限的動作和互動集合。此外，圖 5 顯示了我們的模型與基準模型之間的視覺化比較，驗證了解耦可以顯著改善最具挑戰性的下肢動作的重建結果。

\

\ 解耦策略： 為了研究最佳解耦策略，我們通過沿著運動學樹從根節點

\

\ (骨盆) 到每個葉節點的路徑探索極端解耦配置。具體來說，我們將身體分解為五個部分：從根部到左手 (a)、右手 (b)、頭部 (c)、左腳 (d) 和右腳 (e) 的路徑。如表 5 的最後兩行所報告的，當進一步解耦人體時，上身（或下身）內的自然關節互連被破壞，導致性能下降並使模型設計變得複雜。

\

\ 限制：在圖 6 中，先前的最先進方法和我們的模型在兩種主要情況下遇到困難：(1) 外力引起的運動（頂行）。(2) 非常規姿勢（底行）。在訓練數據集中添加更多樣化的樣本可能會增強模型在這些領域的性能。

\

:::info 作者：

(1) 韓峰，同等貢獻，按字母順序排列，來自武漢大學；

(2) 馬文超，同等貢獻，按字母順序排列，來自賓夕法尼亞州立大學；

(3) 高全凱，南加州大學；

(4) 鄭賢偉，武漢大學；

(5) 薛楠，螞蟻集團 (xuenan@ieee.org)；

(6) 徐慧娟，賓夕法尼亞州立大學。

:::

:::info 本論文可在 Arxiv 上獲取，採用 CC BY 4.0 DEED 許可證。

:::

\