本节定义了一个新的、实用的实例增量学习(IIL)问题设置,专注于已部署系统中的成本效益模型提升。本节定义了一个新的、实用的实例增量学习(IIL)问题设置,专注于已部署系统中的成本效益模型提升。

新的 IIL 设置:仅使用新数据增强已部署的模型

2025/11/05 23:00

摘要和1 引言

  1. 相关工作

  2. 问题设定

  3. 方法论

    4.1. 决策边界感知蒸馏

    4.2. 知识巩固

  4. 实验结果和5.1. 实验设置

    5.2. 与最先进方法的比较

    5.3. 消融研究

  5. 结论和未来工作及参考文献

    \

补充材料

  1. IIL中KCEMA机制理论分析的详细信息
  2. 算法概述
  3. 数据集详情
  4. 实现细节
  5. 灰尘输入图像的可视化
  6. 更多实验结果

3. 问题设定

所提出的IIL设置的说明如图1所示。如图所示,数据在数据流中持续不可预测地生成。通常在实际应用中,人们倾向于首先收集足够的数据并训练一个强大的模型M0用于部署。无论模型多么强大,它不可避免地会遇到分布外数据并在其上失败。这些失败案例和其他低分新观察将被标注以不时训练模型。每次用所有累积数据重新训练模型会导致时间和资源成本越来越高。因此,新的IIL旨在每次仅使用新数据来增强现有模型。

\

\ 图2. 决策边界(DB):(a)分别从旧数据和新数据学习的DB。关于旧DB,新数据可以分为内部样本和外部样本。(b)通过联合训练旧数据和新数据的理想DB。(c)使用独热标签在新数据上微调模型会遭受CF。(d)在原型样本上进行蒸馏学习会导致对这些样本过拟合和DB崩溃。(e)使用我们的决策边界感知蒸馏(DBD)实现的DB。

\

:::info 作者:

(1) 聂强,香港科技大学(广州);

(2) 付伟福,腾讯优图实验室;

(3) 林宇欢,腾讯优图实验室;

(4) 李佳林,腾讯优图实验室;

(5) 周一峰,腾讯优图实验室;

(6) 刘勇,腾讯优图实验室;

(7) 聂强,香港科技大学(广州);

(8) 王成杰,腾讯优图实验室。

:::


:::info 本论文可在arxiv上获取,遵循CC BY-NC-ND 4.0 Deed(署名-非商业性使用-禁止演绎4.0国际)许可。

:::

\

免责声明: 本网站转载的文章均来源于公开平台,仅供参考。这些文章不代表 MEXC 的观点或意见。所有版权归原作者所有。如果您认为任何转载文章侵犯了第三方权利,请联系 service@support.mexc.com 以便将其删除。MEXC 不对转载文章的及时性、准确性或完整性作出任何陈述或保证,并且不对基于此类内容所采取的任何行动或决定承担责任。转载材料仅供参考,不构成任何商业、金融、法律和/或税务决策的建议、认可或依据。
分享文章

您可能也会喜欢