跳到正文
原文
HuggingFace Daily Papers·· 6 天前AI 评分33

更好的监督近在咫尺:邻域在线策略自蒸馏(Neighborhood OPSD)

Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

AI 导读

Neighborhood OPSD(N-OPSD)把局部参数扰动产生的互补参考修正转化为监督,改进数学推理模型的在线策略自蒸馏(OPSD)。在 AIME 2024、AIME 2025 和 HMMT February 2025 上,Qwen3-1.7B、4B、8B 的三基准 Average@12 分别比 OPSD 提升 2.75、1.67、1.94 分。

来源:HuggingFace Daily Papers · huggingface.co