合成高斯和樹狀嵌入的優化性能

連結目錄

摘要與 1. 緒論

1. 相關研究

2. 雙曲支持向量機的凸鬆弛技術

   3.1 預備知識

   3.2 HSVM 的原始公式

   3.3 半正定公式

   3.4 矩-平方和鬆弛

3. 實驗

   4.1 合成數據集

   4.2 真實數據集

4. 討論、致謝與參考文獻

   \

A. 證明

B. 鬆弛公式中的解提取

C. 關於矩平方和鬆弛層次結構

D. Platt 縮放 [31]

E. 詳細實驗結果

F. 穩健雙曲支持向量機

4.1 合成數據集

\ 總體而言,我們觀察到相對於 PGD,SDP 和 Moment 在平均測試準確率和加權 F1 分數上有小幅提升。值得注意的是,我們觀察到在大多數配置下,Moment 相比 SDP 往往顯示出更一致的改進。此外,Moment 給出的最優性間隙 𝜂 比 SDP 更小。這符合我們的預期,即 Moment 比 SDP 更緊密。

\ 儘管在某些情況下,例如當 𝐾 = 5 時,Moment 相比 PGD 和 SDP 取得了顯著更小的損失,但通常並非如此。我們強調這些損失並非最大間隔雙曲分離器泛化能力的直接測量;相反,它們是間隔最大化與隨 𝐶 縮放的誤分類懲罰的組合。因此,觀察到測試準確率和加權 F1 分數的表現更好,即使使用從 SDP 和 Moment 提取的解計算的損失有時高於 PGD 的損失,這可能是由於複雜的損失景觀所致。更具體地說,觀察到的損失增加可歸因於景觀的複雜性而非優化方法的有效性。根據準確率和 F1 分數結果,經驗上 SDP 和 Moment 方法識別出的解比僅運行梯度下降獲得的解泛化能力更好。我們在附錄 E.2 中提供了關於超參數影響的更詳細分析,運行時間見表 4。高斯 1 的決策邊界在圖 5 中視覺化。

\

\ 合成樹嵌入。由於雙曲空間適合嵌入樹,我們生成隨機樹圖並按照 Mishne 等人 [6] 將它們嵌入到 H2。具體而言,如果節點是指定節點的子節點,我們將其標記為正類,否則為負類。然後評估我們的模型進行子樹分類,旨在識別包含同一子樹內所有子節點的邊界。此類任務有各種實際應用。例如,如果樹代表一組標記,決策邊界可以突出雙曲空間中對應於數據圖子樹的語義區域。我們強調此類子樹分類任務的一個共同特徵是數據不平衡,這通常導致泛化能力差。因此,我們旨在使用此任務來評估我們的方法在這種具有挑戰性的環境下的表現。三個嵌入被選中並在圖 3 中視覺化,表現總結在表 1 中。選定樹的運行時間可在表 4 中找到。樹 2 的決策邊界在圖 6 中視覺化。

\ 與合成高斯數據集的結果類似,我們觀察到 SDP 和 Moment 相比 PGD 表現更好,由於 GD 方法通常難以處理的數據不平衡,在這種情況下我們在加權 F1 分數上有更大的提升。此外,我們觀察到 SDP 的最優性間隙很大,但 Moment 的間隙非常緊密,證明了即使在類別不平衡嚴重時 Moment 的最優性。

\

\

:::info 作者:

(1) Sheng Yang, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (shengyang@g.harvard.edu);

(2) Peihan Liu, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (peihanliu@fas.harvard.edu);

(3) Cengiz Pehlevan, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, Center for Brain Science, Harvard University, Cambridge, MA, and Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University, Cambridge, MA (cpehlevan@seas.harvard.edu).

:::

:::info 本論文可在 arxiv 上獲取,採用 CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International) 授權。

:::

\