متانة المشتت: يتفوق RECKONING بشكل كبير على FT-ICR في الاستدلال على الحقائق غير ذات الصلة

جدول الروابط

نبذة مختصرة و 1. المقدمة

1. الخلفية

2. الطريقة

3. التجارب

   4.1 أداء الاستدلال متعدد الخطوات

   4.2 الاستدلال مع المشتتات

   4.3 التعميم على المعرفة الواقعية

   4.4 تحليل وقت التشغيل

   4.5 حفظ المعرفة

4. الأعمال ذات الصلة

5. الخاتمة، شكر وتقدير، والمراجع

\ أ. مجموعة البيانات

ب. الاستدلال في السياق مع المشتتات

ج. تفاصيل التنفيذ

د. معدل التعلم التكيفي

هـ. تجارب مع نماذج اللغة الكبيرة

4.2 الاستدلال مع المشتتات

في الحالات التي يجب فيها الإجابة على أسئلة متعددة حول نفس مجموعة المعرفة، من المحتمل أن تكون بعض المعارف ذات صلة بسؤال واحد ولكنها غير ذات صلة بسؤال آخر. على سبيل المثال، في الجدول 7، الحقيقة "تشارلي أبيض." ليست ضرورية للإجابة على السؤال "هل هاري أحمر؟". لذلك، من المهم تقييم متانة RECKONING عندما توجد معلومات غير ذات صلة (أي المشتتات) في مجموعة المعرفة. في هذه التجربة، نحلل قدرة RECKONING على التركيز على المعرفة الصحيحة وتجاهل المشتتات عند الإجابة على الأسئلة. نستخدم ProofWriter كمجموعة بيانات التقييم لأنها تحتوي بالفعل على إعداد مع مشتتات مضمنة في المعرفة. للتحليل المنهجي، نضيف تدريجياً المشتتات إلى السياق (بدءاً من 2 وانتهاءً بجميع المشتتات الممكنة، والتي يبلغ متوسطها 7 لكل سؤال). نقوم بتدريب RECKONING والخط الأساسي باستخدام هدف متعدد المهام، حيث يجب على النموذج (1) استدعاء جميع الحقائق والقواعد ذات الصلة بالسؤال و(2) التنبؤ بالاستنتاج بناءً على المعرفة الصحيحة. في هذه الحالة، نقوم بتكييف التدريب بحيث لكل سؤال x، يتم حساب خسارة CLM للحلقة الخارجية (المعادلة (5)) فقط فيما يتعلق بالحقائق ذات الصلة من K، وبالتالي تعلم استدعاء الحقائق ذات الصلة فقط أثناء التدريب.

\ في الشكل 5، نرى أن أداء RECKONING أكثر متانة باستمرار تحت المشتتات من خط الأساس FT-ICR. عندما نضمن جميع المشتتات في السياق، يحقق RECKONING دقة تسمية متوسطة أعلى بكثير (82.5٪) عبر القفزات من خط الأساس (70.9٪)، كما تم حسابها بمتوسط أعماق القفزات الثلاثة المعتبرة. بالإضافة إلى ذلك، مقارنة بالأداء بدون مشتتات، ينخفض أداء RECKONING بنسبة 17.1٪ فقط بينما ينخفض أداء خط الأساس بنسبة 28.6٪، مما يظهر قدرة أفضل على فصل المعرفة الصحيحة عن المشتتات.

\ أخيرًا، نستكشف أيضًا قابلية RECKONING للتعميم على النماذج ذات حجم المعلمات الأكبر. نقوم بتوسيع نطاق نموذج اللغة الذي استخدمناه، GPT-2-small (124M)، إلى GPT-2-XL (1.5B) من خلال اعتماد طريقة ضبط دقيقة فعالة للمعلمات LoRA [33]. للتبسيط، نقوم فقط بتقييم النماذج على الإعدادات الأكثر صعوبة، أي ProofWriter-5-hop مع جميع المشتتات. مع GPT-2-XL-LoRA، يحقق الاستدلال في السياق دقة 65٪ على مجموعة الاختبار، بينما يحقق نموذج RECKONING الخاص بنا دقة 70.2٪، بزيادة أداء قدرها 5٪. تشير هذه النتيجة إلى أن مزايا RECKONING في وجود المشتتات تستمر حتى مع زيادة حجم النماذج.

\

:::info المؤلفون:

(1) زيمينغ تشن، EPFL (zeming.chen@epfl.ch);

(2) غيل وايس، EPFL (antoine.bosselut@epfl.ch);

(3) إريك ميتشل، جامعة ستانفورد (eric.mitchell@cs.stanford.edu)';

(4) أسلي سيليكيلماز، Meta AI Research (aslic@meta.com);

(5) أنطوان بوسيلوت، EPFL (antoine.bosselut@epfl.ch).

:::

:::info هذه الورقة متاحة على arxiv تحت رخصة CC BY 4.0 DEED.

:::

\