عملکرد بهینه‌سازی بر روی جاسازی‌های مصنوعی گاوسی و درختی

فهرست لینک‌ها

خلاصه و 1. مقدمه

1. کارهای مرتبط

2. تکنیک‌های آرام‌سازی محدب برای SVM‌های هذلولوی

   3.1 مقدمات

   3.2 فرمول‌بندی اصلی HSVM

   3.3 فرمول‌بندی نیمه معین

   3.4 آرام‌سازی گشتاور-مجموع-مربعات

3. آزمایش‌ها

   4.1 مجموعه داده مصنوعی

   4.2 مجموعه داده واقعی

4. بحث‌ها، تشکرات و مراجع

   \

A. اثبات‌ها

B. استخراج راه‌حل در فرمول‌بندی آرام‌شده

C. در مورد سلسله مراتب آرام‌سازی مجموع مربعات گشتاور

D. مقیاس‌بندی پلات [31]

E. نتایج تفصیلی آزمایشی

F. ماشین بردار پشتیبان هذلولوی مقاوم

4.1 مجموعه داده مصنوعی

\ به طور کلی، ما افزایش کوچکی در میانگین دقت تست و امتیاز F1 وزنی از SDP و Moment نسبت به PGD مشاهده می‌کنیم. به طور قابل توجهی، مشاهده می‌کنیم که Moment اغلب بهبودهای یکنواخت‌تری را در مقایسه با SDP، در اکثر پیکربندی‌ها نشان می‌دهد. علاوه بر این، Moment شکاف‌های بهینگی 𝜂 کوچک‌تری نسبت به SDP ارائه می‌دهد. این با انتظار ما مطابقت دارد که Moment محکم‌تر از SDP است.

\ اگرچه در برخی موارد، به عنوان مثال زمانی که 𝐾 = 5، Moment به ضررهای قابل توجهی کوچک‌تر در مقایسه با هر دو PGD و SDP دست می‌یابد، اما به طور کلی اینطور نیست. ما تأکید می‌کنیم که این ضررها اندازه‌گیری‌های مستقیم قابلیت تعمیم‌پذیری جداکننده‌های هذلولوی حداکثر حاشیه نیستند؛ بلکه آنها ترکیبی از حداکثرسازی حاشیه و جریمه برای طبقه‌بندی نادرست هستند که با 𝐶 مقیاس می‌شوند. بنابراین، مشاهده اینکه عملکرد در دقت تست و امتیاز F1 وزنی بهتر است، حتی اگر ضرر محاسبه شده با استفاده از راه‌حل‌های استخراج شده از SDP و Moment گاهی بالاتر از PGD است، ممکن است به دلیل چشم‌انداز پیچیده ضرر باشد. به طور دقیق‌تر، افزایش‌های مشاهده شده در ضرر را می‌توان به پیچیدگی‌های چشم‌انداز نسبت داد تا اثربخشی روش‌های بهینه‌سازی. بر اساس نتایج دقت و امتیاز F1، به صورت تجربی روش‌های SDP و Moment راه‌حل‌هایی را شناسایی می‌کنند که بهتر از آنهایی که تنها با اجرای گرادیان نزولی به دست می‌آیند، تعمیم می‌یابند. ما تحلیل دقیق‌تری از تأثیر ابرپارامترها در پیوست E.2 و زمان اجرا در جدول 4 ارائه می‌دهیم. مرز تصمیم برای گاوسی 1 در شکل 5 تجسم شده است.

\

\ جاسازی درختی مصنوعی. از آنجا که فضاهای هذلولوی برای جاسازی درخت‌ها خوب هستند، ما گراف‌های درختی تصادفی تولید می‌کنیم و آنها را به H2 جاسازی می‌کنیم به دنبال Mishne و همکاران [6]. به طور خاص، ما گره‌ها را به عنوان مثبت برچسب می‌زنیم اگر آنها فرزندان یک گره مشخص باشند و در غیر این صورت منفی. سپس مدل‌های ما برای طبقه‌بندی زیردرخت ارزیابی می‌شوند، با هدف شناسایی یک مرز که تمام گره‌های فرزند را در همان زیردرخت شامل شود. چنین کاری کاربردهای عملی مختلفی دارد. به عنوان مثال، اگر درخت مجموعه‌ای از توکن‌ها را نشان دهد، مرز تصمیم می‌تواند نواحی معنایی را در فضای هذلولوی که مطابق با زیردرخت‌های گراف داده هستند، برجسته کند. ما تأکید می‌کنیم که یک ویژگی رایج در چنین کار طبقه‌بندی زیردرخت، عدم تعادل داده است، که معمولاً منجر به قابلیت تعمیم‌پذیری ضعیف می‌شود. بنابراین، ما قصد داریم از این کار برای ارزیابی عملکرد روش‌های خود تحت این تنظیم چالش‌برانگیز استفاده کنیم. سه جاسازی انتخاب و در شکل 3 تجسم شده و عملکرد در جدول 1 خلاصه شده است. زمان اجرای درخت‌های انتخاب شده را می‌توان در جدول 4 یافت. مرز تصمیم درخت 2 در شکل 6 تجسم شده است.

\ مشابه نتایج مجموعه داده‌های گاوسی مصنوعی، ما عملکرد بهتری از SDP و Moment در مقایسه با PGD مشاهده می‌کنیم، و به دلیل عدم تعادل داده که روش‌های GD معمولاً با آن دست و پنجه نرم می‌کنند، در این مورد افزایش بیشتری در امتیاز F1 وزنی داریم. علاوه بر این، ما شکاف‌های بهینگی بزرگی برای SDP اما شکاف بسیار محکمی برای Moment مشاهده می‌کنیم، که بهینگی Moment را حتی زمانی که عدم تعادل کلاس شدید است، تأیید می‌کند.

\

\

:::info نویسندگان:

(1) Sheng Yang، دانشکده مهندسی و علوم کاربردی John A. Paulson، دانشگاه هاروارد، کمبریج، MA (shengyang@g.harvard.edu)؛

(2) Peihan Liu، دانشکده مهندسی و علوم کاربردی John A. Paulson، دانشگاه هاروارد، کمبریج، MA (peihanliu@fas.harvard.edu)؛

(3) Cengiz Pehlevan، دانشکده مهندسی و علوم کاربردی John A. Paulson، دانشگاه هاروارد، کمبریج، MA، مرکز علوم مغز، دانشگاه هاروارد، کمبریج، MA، و موسسه Kempner برای مطالعه هوش طبیعی و مصنوعی، دانشگاه هاروارد، کمبریج، MA (cpehlevan@seas.harvard.edu).

:::

:::info این مقاله در arxiv موجود است تحت مجوز CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International).

:::

\