解离的重要性：SAGE 在全身动作中表现优于统一 VQ-VAE 基线

链接表

摘要和1. 引言

1. 相关工作

   2.1. 从稀疏输入重建动作

   2.2. 人体动作生成

2. SAGE: 分层化身生成和3.1. 问题陈述和符号

   3.2. 解耦动作表示

   3.3. 分层动作扩散

   3.4. 实现细节

3. 实验和评估指标

   4.1. 数据集和评估指标

   4.2. 定量和定性结果

   4.3. 消融研究

4. 结论和参考文献

\ 补充材料

A. 额外消融研究

B. 实现细节

4.3. 消融研究

我们在S1设置下进行消融研究，以证明我们SAGE网络中每个组件的设计选择合理性。

\

\

\

\ 解耦码本：我们建立了一个使用统一动作表示的基准来评估解耦策略。具体来说，我们开发了一个全身VQ-VAE模型，将全身动作编码到单一的、统一的离散码本中。其他组件与原始模型相同。表5中第一行和最后一行所示的结果表明，我们采用解耦潜变量的方法在所有评估指标上显著优于基准。这证明了解耦可以简化学习过程，使模型能够专注于更有限的动作和交互集合。此外，图5展示了我们的模型与基准模型之间的可视化比较，验证了解耦可以显著改善对最具挑战性的下肢动作的重建结果。

\

\ 解耦策略：为了研究最佳解耦策略，我们通过沿着运动学树从根节点

\

\ (骨盆)到每个叶节点的路径探索了一种极端解耦配置。具体来说，我们将身体分解为五个部分：从根部到左手(a)、右手(b)、头部(c)、左脚(d)和右脚(e)的路径。如表5最后两行所报告的，当进一步解耦人体时，上(或下)身内的自然关节互连被破坏，导致性能下降并使模型设计复杂化。

\

\ 局限性：在图6中，之前的最先进方法和我们的模型在两种主要情况下都遇到困难：(1)外力引起的运动(顶行)。(2)非常规姿势(底行)。向训练数据集添加更多样化的样本可能会增强模型在这些领域的性能。

\

:::info 作者：

(1) 冯翰，同等贡献，按字母顺序排列，来自武汉大学；

(2) 马文超，同等贡献，按字母顺序排列，来自宾夕法尼亚州立大学；

(3) 高全凯，南加州大学；

(4) 郑显威，武汉大学；

(5) 薛楠，蚂蚁集团(xuenan@ieee.org)；

(6) 徐慧娟，宾夕法尼亚州立大学。

:::

:::info 本论文可在arxiv上获取，遵循CC BY 4.0 DEED许可。

:::

\