过去行业里普遍有一个固定认知,监督微调 SFT 只会记住训练样本,偏向死记硬背,强化学习 RL 才更擅长跨场景泛化推理,新加坡国立大学 NUS 和耶鲁大学联合团队的论文推翻了这个简单结论,他们在 Qwen2.5、Qwen3 模型上做对照实验,在保证生成轨迹总预算、数据来源对齐的前提下,经过合理混合数据训练的 SFT,在分布外泛化任务上的表现能够超过 RL,两者差距很多时候不是训练算法带来的,而是之前对比实验里 SFT 和 RL 使用的数据量、轨迹数量不对等造成的。研究团队做了多组对照,第一种是常规 SFT,一个 prompt 只配一条答案轨迹,这种情况下 SFT 泛化明显弱于 RL;第二种先对齐正确轨迹数量,SFT 效果大幅拉近;第三种对齐全部生成轨迹总量,搭配混合数据源训练,此时 SFT 泛化指标超过 RL。实验覆盖数学推理、通用推理等主流评测基准,论文核心结论是,SFT 本身不是天生只能记忆,限制它泛化能力的关键往往是训练数据供给不足,而不是 SFT 这个训练范式本身有缺陷。当然这不代表 RL 没有价值,RL 在偏好对齐、自我修正、复杂奖励优化场景依旧有独特优势,只是不能简单贴标签说 SFT = 记忆、RL = 泛化。
SFT 与 RL 对照实验条件 & 结果表
| 实验组 | 实验条件 | 泛化表现 |
|---|---|---|
| 常规 SFT | 每个 prompt 仅 1 条回答轨迹,数据量少 | 泛化弱于 RL,容易出现死记硬背 |
| 对齐正确轨迹 SFT | 和 RL 保持一样多的正确样本轨迹 | 泛化大幅提升,缩小和 RL 差距 |
| 全轨迹对齐 + 混合数据 SFT | 总生成轨迹预算和 RL 完全对齐,混合多源数据 | 泛化表现反超 RL |
| RL 基线 | 标准强化学习训练,固定轨迹预算 | 基准水平 |
研究核心要点清单
- ✅ 传统 “SFT 只会死记硬背、RL 擅长泛化” 是简化结论,不够严谨
- ✅ 很多过往对比实验不公平:SFT 的轨迹数量远少于 RL
- ✅ 控制变量:对齐轨迹总量、混合数据源之后,SFT 泛化可以超越 RL
- ✅ 实验基座模型:Qwen2.5、Qwen3 系列
- ✅ 评测方向:数学推理、分布外 OOD 推理任务
- ✅ 边界:该结论不代表 RL 被淘汰,RL 在偏好对齐、奖励优化场景仍有优势
对大模型微调的启发
- 做 SFT 的时候,不要只给单条标准答案,增加多样化的正确推理轨迹,提升样本多样性;
- 对比 SFT 和 RL 效果时,必须先对齐数据预算、轨迹数量,否则对比结论没有参考意义;
- 算力有限的团队,高质量、足量轨迹的 SFT 方案,有可能替代部分 RL 环节,降低训练成本;
- 两种范式各有适用场景,可以组合使用,而不是非此即彼。
总结
NUS、耶鲁团队的研究重新解释了 SFT 和 RL 的能力边界,SFT 泛化差很多时候是数据供给不足导致,不是 SFT 天然适合记忆;在轨迹预算对齐、数据混合优化的条件下,SFT 也能拥有很强的跨分布泛化能力,甚至超过 RL。这个结论会改变大模型后训练的选型思路,不过实验目前在开源基座上完成,在超大闭源模型、复杂人类偏好对齐场景是否成立,还需要更多验证。
【相关 FAQ】
问题 1:NUS、耶鲁团队提出 SFT 数据对齐后泛化反超 RL,SFT 和 RL 分别是什么?
回答 1:SFT 是监督微调,用标注好的示范数据训练模型;RL 是强化学习,依靠奖励信号引导模型优化输出,过去大家普遍认为 SFT 偏向死记硬背,RL 泛化更强,这个研究对该观点提出修正。
问题 2:NUS 耶鲁团队的实验里,为什么之前 SFT 看起来泛化不如 RL?
回答 2:之前大部分对比实验不公平,常规 SFT 每个 prompt 只提供一条回答轨迹,而 RL 会生成大量候选轨迹,两者数据预算不对等,不是 SFT 算法本身泛化能力天生弱。
问题 3:NUS 耶鲁团队的 SFT 反超 RL,需要满足什么条件?
回答 3:需要把 SFT 的总生成轨迹预算和 RL 对齐,同时使用多来源的混合训练数据,不能只用单一标准答案样本,满足条件后 SFT 在推理泛化上可以超过 RL。
问题 4:这个研究是不是说明 RL 以后就没有用了?
回答 4:不是,NUS 耶鲁团队的研究只是说明 SFT 在推理泛化上有潜力,RL 在人类偏好对齐、自我反思修正、复杂奖励优化场景依旧具备不可替代的价值。
【参考资料】
[2026-11-18](SFT 只会 “死记硬背”?NUS、耶鲁团队:数据对齐后,泛化反超 RL)36 氪
[2026-11-18](NUS 耶鲁新论文:SFT 并非只会记忆,对齐轨迹后泛化优于 RL)新浪财经
[2026-11-17](Is SFT Just Rote Memorization? NUS & Yale Teams Prove Data-Aligned SFT Outperforms RL in Generalization Performance)arXiv
[2026-11-18](SFT 与 RL 能力边界再探讨,Qwen 系列模型对照实验)机器之心
[2026-11-18](SFT 补齐轨迹预算,性能追上甚至超越 RL)AI 前线
【免责声明】
本文仅为 NUS、耶鲁团队相关 AI 论文的资讯科普,不构成模型训练落地建议;该结论基于 Qwen 系列开源模型的对照实验,在其他基座模型、偏好对齐任务上不一定通用;论文结论属于学术研究结论,产业落地效果还需要自行验证,最终以论文原文和复现实验结果为准。
本文来自作者[星矢流码]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/4505.html
评论列表(4条)
我是乌兰科技网的签约作者“星矢流码”!
希望本篇文章《NUS、耶鲁团队新研究SFT 不只是死记硬背,数据对齐后泛化能力可以反超 RL》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:过去行业里普遍有一个固定认知,监督微调 SFT 只会记住训练样本,偏向死记硬背,强化学习 RL 才更擅长跨场景泛化推理,新加坡国立大学 NUS 和耶鲁大学联合团队的论文推翻了这个简单结论,他们在 Qwen2.5、Qwen3 模型上做对照实验,在保证生成轨迹总预算、数据来源对齐的前提下,经过合理混合数据训练的 SFT,在分布外泛化任务上的表现能够超过 RL,两者差距很多时候不是训练算法带来的,而是之前对比实验里 SFT 和 RL 使用的数据量、轨迹数量不对等造成的。研究团队做了多组对照,第一种是常规 SFT,一个 prompt 只配一条答案轨迹,这种情况下 SFT 泛化明显弱于 RL;第二种先对齐正确轨迹数量,SFT 效果大幅拉近;第三种对齐全部生成轨迹总量,搭配混合数据源训练,此时 SFT 泛化指标超过 RL。实验覆盖数学推理、通用推理等主流评测基准,论文核心结论是,SFT 本身不是天生只能记忆,限制它泛化能力的关键往往是训练数据供给不足,而不是 SFT 这个训练范式本身有缺陷。当然这不代表 RL 没有价值,RL 在偏好对齐、自我修正、复杂奖励优化场景依旧有独特优势,只是不能简单贴标签说 SFT = 记忆、RL = 泛化。