أهمية فك الارتباط: SAGE يتفوق على خطوط الأساس الموحدة لـ VQ-VAE في حركة الجسم الكاملة

جدول الروابط

نبذة مختصرة و1. المقدمة

1. الأعمال ذات الصلة

   2.1. إعادة بناء الحركة من المدخلات المتفرقة

   2.2. توليد حركة الإنسان

2. SAGE: توليد الصور الرمزية الطبقية و3.1. بيان المشكلة والترميز

   3.2. تمثيل الحركة المفكك

   3.3. انتشار الحركة الطبقي

   3.4. تفاصيل التنفيذ

3. التجارب ومقاييس التقييم

   4.1. مجموعة البيانات ومقاييس التقييم

   4.2. النتائج الكمية والنوعية

   4.3. دراسة الاستئصال

4. الخاتمة والمراجع

\ المواد التكميلية

أ. دراسات استئصال إضافية

ب. تفاصيل التنفيذ

4.3. دراسة الاستئصال

نقوم بإجراء دراسة استئصال تحت S1 لتبرير اختيار تصميم كل مكون في شبكة SAGE الخاصة بنا.

\

\

\

\ كتاب الرموز المفكك: نقوم بإنشاء خط أساس باستخدام تمثيل حركة موحد لتقييم استراتيجية التفكيك. على وجه التحديد، طورنا نموذج VQ-VAE للجسم بالكامل يقوم بترميز حركة الجسم بالكامل في كتاب رموز منفصل موحد. المكونات الأخرى هي نفسها كما في النموذج الأصلي. تظهر النتائج الموضحة في الصفين الأول والأخير في الجدول 5، أن نهجنا الذي يستخدم الكامنات المفككة يتفوق بشكل كبير على خط الأساس في جميع مقاييس التقييم. هذا يدل على أن التفكيك يمكن أن يبسط عملية التعلم من خلال السماح للنموذج بالتركيز على مجموعة أكثر محدودية من الحركات والتفاعلات. بالإضافة إلى ذلك، يوضح الشكل 5 مقارنة التصور بين نموذجنا ونموذج خط الأساس، مما يؤكد أن التفكيك يمكن أن يحسن بشكل كبير نتائج إعادة البناء للحركات السفلية الأكثر تحديًا.

\

\ استراتيجية التفكيك: للتحقيق في استراتيجية التفكيك المثلى، نستكشف تكوين تفكيك متطرف باتباع المسار من الجذر

\

\ (الحوض) إلى كل عقدة ورقية على طول شجرة الحركة. على وجه التحديد، نقسم الجسم إلى خمسة أجزاء: المسارات من الجذر إلى اليد اليسرى (أ)، اليد اليمنى (ب)، الرأس (ج)، القدم اليسرى (د)، والقدم اليمنى (هـ). كما هو مذكور في الصفين الأخيرين من الجدول 5، تم تعطيل الترابطات المفصلية الطبيعية داخل الجسم العلوي (أو السفلي) عند مواصلة تفكيك جسم الإنسان، مما أدى إلى انخفاض في الأداء وتعقيد تصميم النموذج.

\

\ القيود: في الشكل 6، تواجه كل من طريقة الحالة السابقة للتقنية ونموذجنا صعوبات في حالتين رئيسيتين: (1) الحركات الناتجة عن القوة الخارجية (الصف العلوي). (2) الوضعيات غير التقليدية (الصف السفلي). يمكن أن تعزز إضافة المزيد من العينات المتنوعة إلى مجموعة بيانات التدريب أداء النموذج في هذه المجالات.

\

:::info المؤلفون:

(1) هان فينغ، مساهمات متساوية، مرتبة أبجديًا من جامعة ووهان؛

(2) وينتشاو ما، مساهمات متساوية، مرتبة أبجديًا من جامعة ولاية بنسلفانيا؛

(3) كوانكاي جاو، جامعة جنوب كاليفورنيا؛

(4) شيانوي تشينغ، جامعة ووهان؛

(5) نان شوي، مجموعة آنت (xuenan@ieee.org)؛

(6) هويجوان شو، جامعة ولاية بنسلفانيا.

:::

:::info هذه الورقة متاحة على arxiv تحت ترخيص CC BY 4.0 DEED.

:::

\