本文回顾了关于从稀疏输入重建全身运动的文献,追溯了从基于IMU的方法到头戴式设备带来的当前挑战的演变。本文回顾了关于从稀疏输入重建全身运动的文献,追溯了从基于IMU的方法到头戴式设备带来的当前挑战的演变。

解耦全身运动:引入分层方法解决稀疏观测挑战

2025/10/21 10:03

摘要和1. 引言

  1. 相关工作

    2.1. 从稀疏输入重建动作

    2.2. 人体动作生成

  2. SAGE: 分层化身生成和3.1. 问题陈述和符号

    3.2. 解耦动作表示

    3.3. 分层动作扩散

    3.4. 实现细节

  3. 实验和评估指标

    4.1. 数据集和评估指标

    4.2. 定量和定性结果

    4.3. 消融研究

  4. 结论和参考文献

\ 补充材料

A. 额外消融研究

B. 实现细节

2. 相关工作

2.1. 从稀疏输入重建动作

从稀疏观测重建完整人体动作的任务在近几十年来已在研究社区中获得了显著关注[1, 3, 5, 7, 10, 11, 16, 18, 19, 46, 47, 49–51, 54]。例如,最近的工作[16, 19, 46, 50, 51]专注于从六个惯性测量单元(IMUs)重建完整身体动作。SIP [46]采用启发式方法,而DIP [16]开创了深度神经网络在此任务中的应用。PIP [51]和TIP [19]通过融入物理约束进一步提高了性能。随着VR/AR应用的兴起,研究人员将注意力转向从VR/AR设备重建完整身体动作,如头戴式设备(HMDs),这些设备仅提供用户头部和手部信息,带来了额外挑战。LoBSTr [49]、AvatarPoser [18]和AvatarJLM [54]将此任务视为回归问题,利用GRU [49]和Transformer网络[18, 54]从HMDs的稀疏观测预测完整身体姿势。另一系列方法采用生成模型[5, 7, 10, 11]。例如,VAEHMD [10]和FLAG [5]分别利用变分自编码器(VAE) [20]和标准化流[35]。最近的工作[7, 11]利用更强大的扩散模型[15, 38]进行动作生成,由于扩散模型在建模全身动作条件概率分布方面的强大能力,产生了有希望的结果。

\ 与之前在综合、统一框架中建模全身动作的方法相比,我们的方法认识到这些方法对深度学习模型施加的复杂性,特别是在捕捉人体动作的复杂运动学方面。因此,我们提出了一种分层方法,解耦传统的全身化身重建流程,首先处理上半身,然后在上半身条件下处理下半身。

\

:::info 作者:

(1) 冯翰,同等贡献,按字母顺序排列,来自武汉大学;

(2) 马文超,同等贡献,按字母顺序排列,来自宾夕法尼亚州立大学;

(3) 高全凯,南加州大学;

(4) 郑贤伟,武汉大学;

(5) 薛楠,蚂蚁集团(xuenan@ieee.org);

(6) 徐慧娟,宾夕法尼亚州立大学。

:::


:::info 本论文可在arxiv上获取,采用CC BY 4.0 DEED许可证。

:::

\

免责声明:本网站转载的文章均来源于公开平台,仅供参考。这些文章不代表 MEXC 的观点或意见。所有版权归原作者所有。如果您认为任何转载文章侵犯了第三方权利,请联系 service@support.mexc.com 以便将其删除。MEXC 不对转载文章的及时性、准确性或完整性作出任何陈述或保证,并且不对基于此类内容所采取的任何行动或决定承担责任。转载材料仅供参考,不构成任何商业、金融、法律和/或税务决策的建议、认可或依据。
分享文章

您可能也会喜欢

美国顶级监管机构驳斥稳定币"银行挤兑"威胁,市场规模突破3000亿美元

美国顶级监管机构驳斥稳定币"银行挤兑"威胁,市场规模突破3000亿美元

美国货币监理署(OCC)署长乔纳森·古尔德(Jonathan Gould)驳斥了稳定币可能引发突发银行危机的担忧,他形容存款挤兑风险被夸大,且不太可能在没有预警的情况下发生。 古尔德于10月19日在夏洛特举行的美国银行家协会(ABA)年度大会上告诉与会者,任何与稳定币相关的大规模存款流动"不会不被察觉地发生",且"不会在一夜之间发生"。 他的评论出现在联邦监管机构与传统银行集团之间就稳定币崛起而产生的摩擦日益加剧之际。稳定币是与法定货币(如美元)挂钩的数字代币。 根据DeFiLlama的数据,今年市场规模急剧扩大,从1月的2050亿美元增长到超过3070亿美元。Tether的USDT控制了大约59%的市场份额,其次是Circle的USDC。资料来源:DeFiLlama 这一快速扩张加剧了银行业对加强监管的呼吁。 银行业游说组织警告GENIUS法案中的哪些"漏洞"? 8月,美国银行家协会和超过50个州银行团体敦促国会关闭他们所称的GENIUS法案中的"漏洞",这项新的联邦稳定币法律于7月由唐纳德·特朗普总统签署。 这些团体警告说,该法律允许稳定币发行者通过关联公司间接支付收益,他们声称这可能导致银行系统出现大规模存款外流。 在一封联名信中,银行政策研究所、消费者银行家协会、美国独立社区银行家协会和金融服务论坛表示,收益型稳定币可能从传统银行中抽走高达6.6万亿美元的资金,引用了美国财政部的估计。 他们认为,这种资金外流可能推高利率,减少贷款可用性,并提高家庭和企业的借贷成本。 "支付稳定币不应像高度监管和受监督的银行那样支付利息,"该信函指出,强调稳定币发行者不进行贷款或投资证券以产生回报。资料来源:BPI OCC的古尔德淡化危机担忧,敦促小型银行将稳定币视为机遇而非威胁 然而,乔纳森·古尔德驳斥了迫在眉睫的威胁的说法,指出稳定币的采用反而可能通过提供数字支付的新方式使小型银行受益。乔纳森·古尔德 资料来源:美国银行家协会 他表示OCC密切监控此类活动,并会在必要时迅速采取行动。"如果银行系统出现重大资金外流,我会采取行动,"古尔德说,并补充说高级官员和行业协会也会介入。 他敦促社区银行将稳定币视为竞争工具,而非威胁,暗示它们可以帮助小型机构挑战华尔街巨头在支付市场的主导地位。 他还补充说,OCC正在制定与GENIUS法案相关的规则,并"非常清楚国会给我们的法定期限"。 "支付稳定币连接可能是社区银行打破目前美国支付系统中最大银行主导地位的一种可能性,"古尔德说,并承诺确保银行有"安全稳健"的参与方式。 稳定币面临交火:银行警告,监管机构安抚,采用增长 OCC的立场与主要银行协会和外国监管机构发出的警告形成鲜明对比。 本月早些时候,由欧洲中央银行行长克里斯蒂娜·拉加德(Christine Lagarde)担任主席的欧洲系统性风险委员会警告说,多发行者稳定币模式可能破坏欧盟的金融系统稳定,而英格兰银行宣布计划对稳定币持有量实施临时上限,以保护信贷可用性。 在美国,这场辩论也引发了加密平台的强烈回应。Coinbase最近发表了详细反驳,驳斥了稳定币威胁金融稳定的说法,称"存款侵蚀"叙事是为了保护银行1870亿美元年度支付处理收入而编造的神话。 该交易所认为,稳定币使用实际上加强了美元的全球角色,并发现在过去五年中,稳定币采用与社区银行存款外流之间"没有显著相关性"。 同时,渣打银行警告说,到2028年,随着全球采用加速,超过1万亿美元可能从新兴市场银行流向稳定币,占美国货币供应量的10%。 该银行表示,在面临高通胀和本币疲软的国家,稳定币越来越多地作为基于美元的储蓄工具。 尽管争论仍在继续,稳定币融入主流金融的步伐正在加快。Coinbase、Circle、Ripple和Paxos都在寻求联邦银行特许状,以在OCC监督下发行或管理稳定币。 日本巨头索尼本月也加入了这一行列,申请成立"Connectia Trust",这是一家将在OCC监管下发行与美元挂钩代币的美国国家加密银行。资料来源:OCC 虽然银行继续警告风险,财政部长斯科特·贝森特(Scott Bessent)采取了更为乐观的立场,表示数字美元可以扩大全球对美元的获取,并提高对美国国债的需求
分享
2025/10/22 03:17
分享