摘要和1 引言
相關工作
問題設定
方法論
4.1. 決策邊界感知蒸餾
4.2. 知識鞏固
實驗結果和5.1. 實驗設置
5.2. 與最先進方法的比較
5.3. 消融研究
結論和未來工作及參考文獻
\
補充材料
如圖2(a)所示,新觀察中概念漂移的出現導致了現有模型失敗的外部樣本的出現。新的IIL必須擴大決策邊界到這些外部樣本,同時避免在舊邊界上的災難性遺忘(CF)。傳統的基於知識蒸餾的方法依賴於一些保留的範例[22]或輔助數據[33, 34]來抵抗CF。然而,在提出的IIL設置中,除了新的觀察外,我們無法訪問任何舊數據。如果不向模型添加新參數,基於這些新觀察的蒸餾與學習新知識相衝突。為了在學習和不遺忘之間取得平衡,我們提出了一種不需要舊數據的決策邊界感知蒸餾方法。在學習過程中,學生學到的新知識會間歇性地鞏固回教師模型,這帶來了更好的泛化能力,是該領域的先驅嘗試。
\ 
\
:::info 作者:
(1) 聶強,香港科技大學(廣州);
(2) 傅偉富,騰訊優圖實驗室;
(3) 林宇歡,騰訊優圖實驗室;
(4) 李佳林,騰訊優圖實驗室;
(5) 周一峰,騰訊優圖實驗室;
(6) 劉勇,騰訊優圖實驗室;
(7) 聶強,香港科技大學(廣州);
(8) 王成傑,騰訊優圖實驗室。
:::
:::info 本論文可在arxiv上獲取,根據CC BY-NC-ND 4.0 Deed(署名-非商業性使用-禁止演繹4.0國際)許可證。
:::
\


