澈底解脱传统才气对旧数据存储的依赖！

哈佛团队联手香港城大、西安交大最新发布的SD-LoRA期间，通过固定已学习任务的认识参数，仅鬈曲幅度权重，完满幸免了历史数据的存储需求。

大概在减少 50% 以上参数存储的同期保捏最高准确率，况且在不加多推理支出的前提下显耀缓解了横祸性淡忘问题。

该参谋恶果已被 ICLR 2025 摄取为 Oral Presentation。

作家针对预考试模子的捏续学习，不同于之前⼴泛采⽤的搀杂大师模子的想路（将 CL 的瓶颈滚动为采选准确的对应大师模子）， 本⽂提倡的 SD-LoRA 算法徐徐引入低秩矩阵，通过明白其⽅向和幅值，在擢升捏续学习性能的同期，已毕了更好的参数效用。

同期，本⽂也从 low-loss path 的角度开拔，⾸次对该类⽅法的有用性进⾏了潜入讲明和表面分析，为清醒基于预考试模子的捏续学习提供了新的视角。

论文亮点

作家提倡了⼀种⾯向预考试⼤模子的捏续学习⽅法 SD-LoRA，具备⽆需回放（rehearsal-free）、推理⾼效、可端到端考试等优点，并进⼀步谋划了两个参数更⾼效的变体。

从表面与实证层⾯潜入分析了 SD-LoRA 的⼯作机制，讲明其怎样幸免依赖任务特定模块的采选（Prompt 或者 LoRA） ，为捏续学习提供了新的处罚想路和⽅案。

在多个捏续学习基准与主流预考试模子上进⾏了全⾯本质评估，考据了所提⽅法在准确率与效用上的优胜性。

配景

捏续学习：假设有个流式任务，第个任务的考试集示意为

，其中示意输入图像，为对应的标签。当考试到第个任务时，前个任务的数据已无法得回，对应的考试方针函数为：

其中，示意分类模子，为逐样本的交叉熵亏蚀。

LoRA：令分类模子的某一层参数为，模子更新参数为，其中矩阵，那么该层对应的输出为：

参谋动机

作家追溯现存参谋发现，面前基于预考试模子的捏续学习⽅法，如 prompt-based 和 LoRA-based ⽅法，经常在考试和测试阶段采⽤路由机制采选对应的任务特定模块，借此缓解横祸性淡忘问题。

这类⽅法实质上沿⽤了"搀杂大师模子（MoE）"的想路。

然⽽，为了精确采选对应大师模块，路由机制时时依赖于⼤量历史任务的样本或中间特征，带来了较⾼的存储本钱。

这不仅抵抗了捏续学习在多任务场景下对"轻量化"的条目，还在推理阶段引入了非凡推断，裁减了推理效用。

△表 1：从 Rehearsal-free，Inference Efficiency 以及 End-to-end Optimization 的角度对现存⽅法的分析。

HiDE-Prompt 和 InfLoRA 性能推崇优异，然而他们都需要存储⼤量以前任务样本的特征。⽽ L2P、DualPrompt、CODA-Prompt 则需要引入路由机制采选对应的 task-specific 的 prompt，这在模子推理的时候引入了新的推断量。

作家但愿大概谋划探索⼀种 MoE 逻辑除外的基于预考试模子的捏续学习算法：

满⾜ Rehearsal-free，Inference Efficiency，和 End-to-end Optimization 三个特征，使得在多任务捏续学习场景下，幸免存储过多以前任务样本及特征，擢升推理效用。

从本质和表面两个维度潜入分析模子缓解横祸性淡忘的内在机制，为捏续学习问题提供⼀种不同于现存大师采选政策的新解法。

SD-LoRA 才气

△图 1：模子参数更新，（a）传统 LoRA，（b）所提的 SD-LoRA（以考试到第 2 个任务为例）

本⽂所提的 SD-LoRA 算法主要包含两个模块：

将 LoRA 矩阵的 magnitude 和 direction 解耦出来，

固定之前任务所学习的 LoRA 矩阵的⽅向，然而同期学习鬈曲对应 magnitude。其中橙⾊的部分为 learnable 的部分。

本质为止发现 SD-LoRA 在满⾜ rehearsal-free，Inference Efficiency，End-to-end Optimization 的同期也取得了很好的性能推崇。

为了更好的讲明 SD-LoRA 的本质性能，下⾯咱们将分散从本质及表面两个角度进⾏了潜入分析，从 low-loss path 的角度对 SD-LoRA 提供了新的讲明。

Empirical Finding 1：（Low-loss Region 的存在性）：当凯旋在不同下流任务上微调基础模子时， 得到的任务特定权重之间的距离，比它们与原始模子权重的距离更接近。

( a ) . 示意预考试模子的权重，示意模子凯旋在第

个任务上 finetune 所得到的参数。 ( a ) 图标明参数空间中测量相对距离，这些下流任务特定的权重彼此之间的距离比拟于基础模子驱动权重愈加接近，呈现出会聚趋势。

( b ) ( c ) . 在考试完第一个任务后，咱们固定其认识，只鬈曲 magnitude 去学习，即可见其性能以至优于 Vanilla LoRA，说明对所有任务最优的参数可能位于认识隔壁，仅通过鬈曲 magnitude 即可学到。进一步说明了下流任务模子最优参数可能位于一个 low-loss region 里。

Empirical Finding 2：（可学习参数

的可视化）：在捏续学习经过中，来自先前任务的认识（即）起到了关节作用——尤其是早期任务中学到的认识。

( a ) . 咱们最初推断了面前任务认识与之前任务认识贯串之间的最小二乘拟合残差。为止露出该残差随时候逐步增大，说明在考试初期，新学到的认识与早期任务高度对王人，不错有用复用已学习的认识；跟着考试的推动，逐步偏离，徐徐引入微弱变化以适配新任务。

( b ) ( c ) . 早期任务对应的值赶紧高潮，此后期任务则呈现出举座下跌趋势。这标明模子在推理经过中越来越依赖于早期学习到的认识，而新引入的认识主要用于细小鬈曲，以答应后续任务的特定需求。

Empirical Finding 3：（模子缓解淡忘的假设及考据）：SD-LoRA 通过结合先前任务中固定的方与学习到的 magnitude, 有用地挖掘出一条 low-loss path，指向所有任务分享的低损区域。

( a ) .SD-LoRA 算法有用的假设，通过鬈曲 magnitude，模子愈加容易找到 low-loss path 从而照猜度 shared low-loss region。

( b ) ( c ) . 分散对 LoRA 和 SD-LoRA 进行插值，考据了（a）假设，SD-LoRA 相对 LoRA，在防守 task 1 性能的同期，有用的擢升了 task 2 的性能，说明了 SD-LoRA 照猜度了 shared low-loss region。

表面分析

咱们从矩阵面临的角度分析，令示意 CL 最优的模子参数。跟着考试的进行，学习得到的矩阵会逐步面临的主要素。

这也印证了 finding 2 中模子所学习到的

逐步下跌的趋势。

SD-LoRA 的高效版块

尽管所提 SD-LoRA 算法幸免了存储以前任务的样本及特征，但仍需要存储不同任务 LoRA 矩阵的认识信息，为了进一步已毕梦想的可推广的捏续学习算法，咱们在 SD-LoRA 的基础上提倡了两个 efficient 的版块。

( SD-LoRA-RR ) 。咱们在 theoretical 和 finding 2 都阐发了后头引入的 LoRA matrix 不如前边的强大。基于此，咱们动态的裁减了后续引入 LoRA 矩阵的 rank，从而裁减了需要存储的 LoRA 矩阵的参数目。

( SD-LoRA-KD ) 。尽管 SD-LoRA-RR 不错裁减存储的 LoRA 矩阵的参数目，然而他依然不成幸免的在考试新任务时引入新的低秩矩阵。SD-LoRA-KD 通过判定新引入 LoRA 矩阵认识信息是否冗余，将常识蒸馏到之前所学习到的 LoRA 矩阵上，从而幸免了引入新的矩阵。

SD-LoRA 过甚 efficient 版块相应的伪代码如下：

本质为止

1.：SD-LoRA 在不同的任务长度，benchmarks 上的性能。

2.：SD-LORA 在考试经过中的多个任务的平均性能。

3.：SD-LORA 的消融本质。

4.：不同才气的复杂度分析。

论断

本文提倡的 SD-LoRA 是一种 rehearsal-free、推理高效、可端到端优化的捏续学习才气。

不同于以往依赖搀杂大师模子的作念法，SD-LoRA 通过徐徐引入低秩矩阵，并将其认识与幅值明白，已毕了参数高效、无路由机制的捏续学习。

在多个基准任务和预考试模子上的本质标明，SD-LoRA 在不加多推理支出的前提下显耀缓解了横祸性淡忘问题。

同期，本文还从训诲和表面两个角度潜入分析了 SD-LoRA 的职责机制，揭示了其能有用挖掘不同任务分享低损旅途的实质，提供了一种全新的捏续学习处罚想路。

论文地址 :

https://openreview.net/pdf?id=5U1rlpX68A

代码地址 :

https://github.com/WuYichen-97/SD-Lora-CL

本文第一作家 Yichen WU   ( 个东谈主主页：https://wuyichen-97.github.io/ ) 正在找对于 Continual Learning, LLM Hallucination 等关联限制的 Postdoc Postion, 接待全国有稳妥岗亭干系 : yichen@seas.harvard.edu

一键三连「点赞」「转发」「留意心」

接待在评述区留住你的想法！

—  完  —

学术投稿请于职责日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页联结，以及干系表情哦

咱们会（尽量）实时回话你

� � 点亮星标 � �

科技前沿进展逐日见开yun体育网