跳到正文

全部动态

今日 0 条
6月15日周一
  1. Berkeley RDI:Blog(AI 安全与评测)83

    伯克利RDI发布Agents' Last Exam基准

    2026年6月,伯克利RDI发布Agents’ Last Exam(ALE)基准,包含1,500余项源于真实工作的任务,覆盖55个非体力职业。对Fable 5、GPT-5.5、Composer 2.5等前沿智能体的测评显示:在最困难层级成功率均为0%;整体任务表现接近,但单任务成本差异巨大(Fable 5约$15.70,GPT-5.5约$3.80,Composer 2.5约$1.33)。CLI子集ALE-CLI最佳通过率仅25.2%。主要失败模式是智能体未验证输出即宣称完成。数据集、代码及CLI子集已开源。

    推荐理由:在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

6月12日周五
  1. Hacker News 热门(buzzing.cc 中文翻译)82

    研究模拟显示:LLM 在 95% 的模拟中会使用战术核武器

    一项模拟研究显示,大型语言模型(LLM)在 95% 的模拟场景中会选择使用战术核武器。该研究未指明具体模型名称与版本,结果引发对 AI 决策行为的关注。

    推荐理由:前沿模型在核危机模拟中普遍使用战术核武器,没有人类那样的核禁忌,还会算计对手的预期,这个研究对AI安全的意义远比论文本身重要。

6月11日周四
  1. 公众号:龙猫LongCat(美团)65

    美团 LongCat 提出 WBench:首个交互式视频世界模型多轮评测基准

    美团 LongCat 团队提出 WBench,这是首个面向交互式视频世界模型的系统性多轮评测基准,包含 289 个测试案例和 1058 个交互轮次,覆盖导航、主体动作、事件编辑和视角切换四种交互方式。

    推荐理由:将导航能力独立归因于空间状态表示,揭示连续交互位姿误差累积是迭代生成范式的结构性缺陷,为评估与改进交互式世界模型提供了新框架。

  2. HuggingFace Daily Papers(社区热门论文)79

    MaxProof:面向数学证明的群体级别测试时扩展框架(MiniMax-M3)

    MaxProof 是为 MiniMax-M3 系列设计的群体级别测试时扩展框架,用于竞赛级数学证明。M3 模型训练了证明生成、证明验证和基于 critique 的证明修复三种能力,验证器采用低假阳性率的深度防御生成式架构。这些能力合并到单个 M3 模型。测试时,MaxProof 将模型用作生成器、验证器、精炼器和排序器,在候选证明群体中搜索并通过锦标赛选择返回最终证明。M3 模型在 IMO 2025 达 35/42,USAMO 2026 达 36/42,均超过人类金牌阈值。

    推荐理由:MiniMax-M3用生成-验证器RL把数学证明推到了人类金牌水平,IMO 2025 35/42,USAMO 2026 36/42。这篇的意义不只分数,而在于验证-修复-群体搜索的技术路线跑通了最难的人类竞赛。

  3. HuggingFace Daily Papers(社区热门论文)76

    对抗性重新包装:仅修改呈现层即可欺骗AI同行评审

    研究提出对抗性重新包装攻击,在不改动科学证据(方法、实验、数据等)的前提下,仅修改摘要、贡献定位、相关工作、讨论和叙事结构等呈现层内容,并利用AI审稿人反馈进行闭环搜索。在三种主流AI审稿系统上,攻击成功率达75.1%,平均得分提高+1.21/10。策略中,相关工作重定位和分析性讨论扩展等结构性改动效果显著优于表面编辑。分析揭示两种失败模式:AI审稿人更易被亮点打动而非被说服,且会将“看起来解决了限制”与“实际解决”相混淆。研究发布了无污染滚动基准和攻击框架用于测试内容锚定性。

    推荐理由:这篇论文戳破一个令人不安的真相:AI 审稿人可以被纯粹的文字包装欺骗,不碰证据就能大幅拉升评分。它把论文呈现本身变成了一枚可优化的攻击面,做学术出版与 AI 评估的人都要正视这个结构性缺陷。

  4. HuggingFace Daily Papers(社区热门论文)73

    HYDRA-X: 原生统一多模态模型与整体视觉分词器

    HYDRA-X 是首个在单个 Vision Transformer (ViT) 中统一图像与视频 tokenization 的统一多模态模型。通过帧级因果时间注意力实现视觉重建,并采用层级时间压缩替代单步压缩。轻量级解压器在联合图像-视频教师监督下上采样时间压缩特征。编辑管线中,源-目标交互在分词器内部潜在层面而非 LLM 语义层面进行,提升编辑一致性与收敛速度。7B 密集模型在图像与视频理解及生成任务上表现强劲。

    推荐理由:HYDRA-X 第一次把图像和视频标记塞进同一个 ViT,光看设计了帧级时序注意力和分层压缩这两个小 tricks 就值回票价,做多模态模型的该读读。

  5. HuggingFace Daily Papers(社区热门论文)74

    HarmProfile:刻画前沿大语言模型的有害输出分布

    HarmProfile 是一个以内容为中心的基准数据集,收集了 13 个模型家族、23 个前沿 LLM 的超过 80,000 个经验证的违规样本,覆盖 15 个危害类别和 57 个子类别。研究发现,前沿 LLM 能大规模稳定产生有害内容,且不同模型呈现不同的风险画像;危害性与多样性随模型能力增长,暗示模型可能在对齐表面之下隐藏着日益危险的知识。源代码已公开。

    推荐理由:将有害输出视为可分析的对象而非单一攻击结果,80k 样本的风险画像为横向比较不同模型的安全边界提供了新基准。

  6. HuggingFace Daily Papers(社区热门论文)77

    MiniMax Sparse Attention(MSA)块状稀疏注意力

    MiniMax 提出块状稀疏注意力 MSA,基于 GQA 构建。轻量级 Index Branch 为每个 GQA 组独立选择 Top‑k KV 块,Main Branch 仅对选中块执行精确块稀疏注意力。在 109B 参数多模态模型上,MSA 与 GQA 性能持平,1M 上下文下每 token 注意力计算减少 28.4 倍。配合协同设计的 GPU 内核,H800 上实现 14.2 倍 prefill 和 7.6 倍 decoding 端到端加速。推理内核与基于 MSA 的多模态模型已公开发布。

    推荐理由:MiniMax这个稀疏注意力把长上下文推理计算砍掉28倍,而且直接开源了高效CUDA kernel和模型,做agent和代码仓库级推理的团队可以赶紧试试。

  7. HuggingFace Daily Papers(社区热门论文)70

    EurekAgent:环境工程化实现自主科学发现

    EurekAgent 是一个环境工程化的大语言模型智能体系统,专为度量驱动的自主科学发现设计。它从权限工程(可控执行与隔离评估)、产物工程(文件系统与 Git 协作)、预算工程(成本感知探索)和人在回路工程(简便监督干预)四个维度构建执行环境。EurekAgent 在数学、内核工程和机器学习任务上取得新 SOTA,包括以不到 11 美元总 API 成本发现新的 26 圆填充结果。代码与结果已开源。

    推荐理由:EurekAgent 把科学发现的目光从设计智能体流程转向环境工程,用不到 11 美元就找到了新的圆打包纪录,这可能是低成本自主科研的转折点。

  8. HuggingFace Daily Papers(社区热门论文)75

    WEAVER:一种更优、更快、更长的机器人操作世界模型

    WEAVER是一种多视图世界模型架构,通过流匹配损失训练预测未来潜变量和奖励值,满足保真度、一致性和效率三个要求。在机器人操作任务上,WEAVER在政策评估中与真实成功率的相关系数ρ=0.870,在π₀.₅基础模型基础上实现政策改进成功率提升38%,测试时规划成功率提升14%,且速度比先前世界模型快5–10倍。在分布外场景下表现也优于先前世界模型。代码、模型和视频已开源。

    推荐理由:世界模型在机器人操控上第一次同时跑通了「高保真、长时一致、高推理效率」这三个硬指标,真机实验把成功率拉高38%,代码模型全开源,搞具身智能的值得认真读。

  9. The Decoder:AI News(RSS)70

    Anthropic 研究:AI 数小时内即可从安全补丁构建漏洞利用

    Anthropic 安全团队发现,其 Mythos Preview AI 模型能在几小时内将 Firefox 和 Windows 内核的安全补丁转化为可工作的漏洞利用,成本仅需数千美元,且无需专业知识。在微软自动更新到达任何设备之前,该模型已完成 8 条完整攻击链。Anthropic 认为传统的补丁节奏已经过时。

    推荐理由:Anthropic这个研究给安全圈兜头一盆冷水,补丁发布后几小时AI就能写出利用代码,微软自动更新还没推送,攻击链已经跑通了。补丁节奏得彻底重设了。

6月10日周三
  1. 公众号:百度智能云(文心)63

    百度百舸联合复旦提出LU-KV框架,被ICML 2026录用

    百度百舸团队与复旦大学合作提出Long-horizon Utility KV(LU-KV)框架,将头级KV Cache预算分配建模为面向长程边际效用的全局组合优化问题。LU-KV通过离线画像估计注意力头边际贡献曲线,结合凸包松弛与基于边际效用的贪心求解器,在较低开销下得到接近最优的预算配置,可适配SnapKV、KeyDiff等多类压缩方法。在LongBench和RULER基准上,80%压缩比下性能损失小,降低显存占用和推理延迟。相关论文被ICML 2026录用。

    推荐理由:ICML接收的KV Cache压缩新方法,把缓存预算分配从看当前分数改成全局优化,能显著降低显存占用,做长上下文推理的值得细读。

  2. HuggingFace Daily Papers(社区热门论文)73

    Bebop:通过带拒绝采样的多token预测加速RL训练

    Bebop系统研究多token预测(MTP)在大语言模型RL后训练中的加速瓶颈。发现MTP接受率与模型熵波动呈负线性关系;概率拒绝采样相比贪婪草稿采样能缓解熵干扰。提出端到端TV损失直接优化多步拒绝采样接受率,带来约10%提升,最高达95%接受率,额外推理吞吐提升25%。在Qwen3.5、Qwen3.6和Qwen3.7上,异步RL训练实现1.8倍端到端加速。预RL阶段的MTP训练结合e2e TV损失和拒绝采样可保持全程一致的加速,无需在线更新。

    推荐理由:做RLHF的团队值得细看,MTP加拒绝采样直接把RL训练推到了1.8倍加速,还省去了在线更新MTP的成本。TV损失的设计让接受率提了10%,这套组合拳相当实用。

  3. Hugging Face:Blog(RSS)67

    Hugging Face 博客发布语音智能体代码切换基准测试

    Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。

    推荐理由:如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

6月9日周二
  1. Hacker News 热门(buzzing.cc 中文翻译)71

    FrontierCode 在 Hacker News 获 101 分

    cognition.ai 的 FrontierCode 项目在 Hacker News 上获得 101 个 points。目前公开信息仅包含项目名称和来源,具体功能、技术细节或性能数据尚未披露。

    推荐理由:这是第一个真正衡量「代码能不能被合并」的基准,由几十位开源仓库维护者亲手设计标准,填补了 SWE-Bench 只测正确性不测质量的盲区。虽然任务集不公开,但它对‘生产级代码智能体’的评估思路会直接影响接下来的模型选型。

  2. HuggingFace Daily Papers(社区热门论文)73

    DeLM:去中心化多智能体系统框架

    DeLM是一种去中心化多智能体系统框架,通过并行智能体、共享已验证上下文和任务队列避免中央控制器瓶颈。智能体异步认领子任务、读取累计进展、执行局部推理并写回紧凑的已验证更新。在SWE-bench Verified上,DeLM在Avg.@1、Pass@2和Pass@4指标中均取得最佳性能,相比最强基线提升最多10.5个百分点,每任务成本降低约50%。在LongBench-v2多文档问答上,DeLM在四个前沿模型家族中取得最高平均准确率,提升最多5.7个百分点。代码已开源。

    推荐理由:去中心化MAS把中心调度换成共享黑板,SWE-bench一口气提10.5个点还省一半成本,这个思路值得所有搞agent的团队认真看。

  3. HuggingFace Daily Papers(社区热门论文)78

    Embodied-R1.5:通过具身基础模型演化物理智能

    Embodied-R1.5是一个统一具身基础模型,将具身认知、任务规划、纠错与指向能力整合在单一架构中。基于三条自动化数据构建流水线,团队搭建超过150亿模型token的数据系统,并设计多任务平衡强化学习方案以缓解异构任务冲突。其Planner-Grounder-Corrector闭环框架使模型能在长周期任务中自主执行并自我纠正。仅8B参数的Embodied-R1.5在24个具身VLM基准中的16个上达到SOTA,超越Gemini-Robotics-ER-1.5与GPT-5.4,并可微调为VLA,在4个操作任务基准上领先π_{0.5}等模型。零样本真实机器人实验验证了其指令遵循、可操作物体判别、铰接物体操控与长周期复杂任务中的泛化能力。模型权重、数据集、训练代码及评估框架EmbodiedEvalKit已开源。

    推荐理由:仅8B参数就在24项具身视觉语言基准上赢过GPT-5.4和Gemini-Robotics,还把模型权重、训练代码全开源了,做具身智能的团队不跟进就是犯罪。

  4. HuggingFace Daily Papers(社区热门论文)82

    i1:面向强文生图模型的简单且完全开源配方

    i1 是一个 3B 参数的文本到图像扩散模型,仅使用公开数据集训练。在 GenEval、DPG、PRISM、CVTG-2K 和 LongText 五个基准上,i1 性能与领先模型相当,平均比最佳现有完全开源模型高 29.5 个百分点。研究基于 300 余项控制实验(超 700K TPU v6e 小时),发现等权重混合 curated 数据集是强默认配置、更大文本编码器适配器以极少参数提升性能。i1 的检查点、训练与推理代码及数据处理流程已全部开源。

    推荐理由:i1 是第一个用全公开数据、完全开源代码/权重/数据管线打造的 3B 模型,直接把全开放模型的性能拉到可与闭源竞争,对做文生图研究的同行是个扎实起点。

  5. HuggingFace Daily Papers(社区热门论文)70

    快手开源 Kwai Keye-VL-2.0-30B-A3B:面向长视频理解与智能体智能的 MoE 多模态模型

    快手开源 Kwai Keye-VL-2.0-30B-A3B,一个 MoE 多模态基础模型,激活仅 3B 参数,专为长视频理解和智能体智能设计。模型首次将 DeepSeek Sparse Attention (DSA) 适配到 GQA 多模态架构,实现无损 256K 上下文处理,并通过可扩展视频 I/O、异构 ViT-LM 并行及自定义 DSA 内核优化吞吐与计算开销。引入跨模态多教师在策略蒸馏(MOPD)结合 Context-RL 和 Video-RL,缓解多任务对齐中的灾难性遗忘,原生支持代码、工具、搜索场景下的多智能体协作与多模态自纠正。在 TimeLens、Video-MME-v2、LongVideoBench 等多个基准上达到同类规模 SOTA,模型权重已开源。

    推荐理由:Keye-VL-2.0 把长视频理解推到 256K 上下文,还用了 DeepSeek 的稀疏注意力,这是目前我能找到的对长短视频最兼顾的多模态模型,做视频 agent 的该看看。

  6. HuggingFace Daily Papers(社区热门论文)73

    Flow-DPPO: 面向流匹配模型的散度近端策略优化

    针对流匹配模型中在线强化学习比率裁剪策略约束不当的问题,Flow-DPPO 提出用散度近端约束替代。关键洞察是流模型每步策略为高斯分布,可精确计算新旧策略间的 KL 散度。Flow-DPPO 采用非对称散度掩码,仅在梯度更新偏离信任区域且超阈值时阻止更新。实验表明,Flow-DPPO 获得更高奖励,KL 近端效率更优,缓解了灾难性遗忘,促进多目标均衡,并能在比率裁剪失效时支持稳定的多轮训练。代码已开源。

    推荐理由:用 KL 散度代替比值裁剪来解决流匹配 RL 训练的不稳定,理论简洁,代码已开源,做图像/视频生成优化的同学可以跑一下。

  7. HuggingFace Daily Papers(社区热门论文)75

    混合LLM中的注意力失忆:CoT微调破坏长距离召回及修复方法

    CoT监督微调系统性地降低混合线性注意力模型(如HypeNet、Jet-Nemotron)的长上下文召回能力。在NIAH任务上,HypeNet-9B的S2@256K从67.2%降至9.4%,原因是CoT-SFT使注意力梯度偏向短程模式,破坏长程路由的W_Q和W_K投影。QK-Restore方法无需训练,从微调前检查点恢复W_Q和W_K,保留其余参数;Procrustes变体平衡路由保留与推理适应。在HypeNet-5B上,QK-Restore将S3@256K从65.4%提升至76.4%,推理性能不变。

    推荐理由:做长上下文推理的同学注意了,CoT微调居然会弄坏模型的长距离记忆,这篇论文不仅把原因扒清楚了,还给出了零成本修复方案,值得放进参考列表。

  8. X:Perplexity (@perplexity_ai)76

    Perplexity与哈佛:AI智能体提效87%降本94%

    我们与哈佛大学发表新研究,关于从聊天界面转向像Computer这样的自主智能体的转变。 超过3个月的研究结果表明,使用Computer的工人在完成任务上比仅使用搜索快87%,成本低94%,且满意度更高。 https://research.perplexity.ai/articles/how-ai-agents-reshape-knowledge-work

    推荐理由:Perplexity 和哈佛的联合研究,用三个月数据把“AI 代理取代聊天界面”从口号变成了硬数字——87% 时间缩减和 94% 成本下降,做企业决策的人该仔细读一下。

  9. MiniMax:Blog(网页)76

    MaxProof框架:MiniMax M3在IMO 2025和USAMO 2026超越人类金牌线

    MiniMax M3采用MaxProof框架,在IMO 2025和USAMO 2026两项数学奥赛基准上超越人类金牌线。框架分三阶段训练:Proof RL使用生成式验证器提供奖励,进行长程强化学习提升证明生成能力;Verifier Alignment将验证对齐为错误定位任务;Refinement Augmentation利用训练中产生的错误证明与验证分析对,通过拒绝采样微调修复能力。三者合并为M3通用模型。系统通过低假阳性率过滤噪声,保证RL稳定性。

    推荐理由:M3在数学奥赛上搞定人类金牌,靠的是用生成验证器做RL和进化搜索,这套组合对复杂推理任务的普适性可能比提高一个benchmark分数更有价值。

6月8日周一
  1. HuggingFace Daily Papers(社区热门论文)74

    Reasoning Arena:可验证奖励不足时的迹线锦标赛

    针对基于可验证奖励的强化学习(RLVR)在组级别奖励无信息时无法提供梯度信号的问题,提出Reasoning Arena自适应训练框架。该框架将非多样化奖励组路由至评判系统,通过迹线锦标赛(trace tournaments)对推理迹线进行头对头比较,转化为相对奖励信号。每个新迹线仅与动态更新的少量锚点比较,然后在不完全比较图上拟合Bradley-Terry模型。在竞赛数学和编程基准上,平均超越RLVR基线7.6%,训练加速27%至41%,节省近50%生成计算量。

    推荐理由:强化学习训推理模型常遇到奖励无法区分,这篇把被浪费的样本变成有效梯度,训练加速近 50% 同时性能还涨 7.6%,做 RL 训练的人值得细读。

  2. Hacker News 热门(buzzing.cc 中文翻译)74

    招聘中的算法单一化

    一篇来自 algorithmichiring.github.io 的文章指出招聘行业正面临算法单一化风险——多数企业采用少数几种相同的算法模型评估候选人,可能导致系统性偏差和同质化。该文在 Hacker News 获得 102 个点赞。

    推荐理由:这项研究用 340 万份真实申请第一次把算法招聘的种族歧视和系统拒绝摆在了台面上,结论是求职者投多家也可能被同一套算法全面筛掉,做招聘产品或关心就业公平的人都该认真读。

  3. X:腾讯混元 (@TencentHunyuan)69

    腾讯混元联合多家机构发布首个音频编辑基准MMAE

    腾讯混元联合上海交大、南洋理工等机构推出MMAE(Massive Multitask Audio Editing Benchmark),这是首个全面评估AI语音/音频编辑能力的基准。MMAE要求模型理解现有音频并按自然语言指令精确修改,而非简单生成。当前模型在该基准上的精确匹配率(EMR)低于5%,暴露了可靠音频编辑的短板。MMAE包含2000个真实场景高保真样本、17741条细粒度评估项,覆盖声音/音乐/语音及混合共7种模态、6种任务复杂度(基础修改到多跳推理及多轮编辑)、8种操作类型(局部到全局)。论文、代码、数据集和演示已公开。

    推荐理由:过去一年语音和音乐生成很热,但音频编辑还没人正经测过,腾讯这个基准把现状血淋淋地摆出来了,不到5%的准确率意味着整个方向都还在起步期。

  4. HuggingFace Daily Papers(社区热门论文)70

    用对抗性黑客-修补循环强化Agent基准测试

    对五个终端Agent基准测试的1,968个任务审计发现,323个(16%)可被前沿模型仅凭任务描述进行奖励黑客攻击。研究者提出hacker-fixer loop方法:三个LLM agent轮流作为黑客尝试绕过验证器、修补者拒绝每次漏洞、求解者确认修补后仍接受合法方案。在KernelBench上,该循环将公开报告漏洞的攻击成功率从62%降至0%。弱agent也能防御强黑客:Gemini 3 Flash循环使Gemini 3.1 Pro和Claude Opus 4.7在KernelBench上的攻击成功率分别从76%和61%降至0%;在Terminal Bench的77个任务上,从39%降至17%。发布Terminal Wrench(323个可攻击环境、3,632条攻击轨迹)及修补后的验证器与实现。

    推荐理由:现有 Agent 基准的验证器太容易被钻空子了,这篇论文挖出 16% 可 hack 的任务,还提出用三个 LLM 自动对抗修补的循环方法,做 RL 评估的值得细读。

  5. HuggingFace Daily Papers(社区热门论文)73

    OmniGameArena:面向VLM游戏智能体的统一UE5基准与改善动态

    OmniGameArena是一个基于十二个Unreal Engine 5新构建游戏的实时基准,涵盖单人(7个)、PvP(3个)和合作(2个)模式,提供统一动作接口。除冷启动排行榜分数外,还引入Improvement Dynamics Curve (IDC),一种智能体反射评估机制:通过工具调用反射大语言模型自动优化技能提示词,追踪多轮反射中的分数变化以及习得技能在任务变体上的泛化表现。论文报告了12个VLM智能体在冷启动排行榜上的表现,以及4个顶级智能体在IDC下的指标。

    推荐理由:在 UE5 里直接测 agent 的自我改进,这个思路让游戏 benchmark 从一次性的刷榜变成动态成长观测,对做多模态 agent 的团队是个新标尺。

  6. HuggingFace Daily Papers(社区热门论文)76

    精确性不等于忠实度:完整Oracle下的覆盖感知接地生成评估

    无参考忠实度度量仅衡量精确率(陈述是否被支持),鼓励模型少说甚至不说以获得高分。本研究利用F1遥测(确定性完整ground truth)和NOAA天气预报两个完整Oracle领域,证明此盲点:在多语言(EN/ES/PT)共7253个决策实例(覆盖150场比赛)的基准上,最精确的前沿模型仅覆盖不到一半相关事实,按F1排名垫底。引入覆盖度(召回率)后系统排序改变;显式要求详尽也无法弥补差距。作者提出将忠实度与覆盖度合并为单一分数,并给出无参考验证器引导生成方法,同时提升精确率和召回率。相关基准、标注、度量、基线及交互演示已开源。

    推荐理由:这个研究戳破了自动评估里 Faithfulness 的泡沫,指标只看模型「说对多少」不看「说全没有」,沉默的模型反而拿高分,以后评测不能只看精确度了,做评估的得补上覆盖度这一环。

  7. 英国 AI Security Institute:Blog(网页)64

    英国 AISI 发布 RealityTest 基准,测试 AI 系统被问及时是否坦承身份

    英国 AI Security Institute 发布 RealityTest 基准,评估 17 个文本模型和 6 个语音模型在被问及时是否披露 AI 身份。基准基于 500 人英国代表性调查、50 个 Reddit 帖子,以及约 750 名参与者用 5 种语言产出的 3,152 条真实身份询问。

    推荐理由:基准基于真人询问方式构建,并给出模型间披露率差异,读者可据此理解现有评测为何难以代表真实部署表现。

  8. Anthropic:Research(发表成果 · 网页)79

    Anthropic研究:大语言模型加速N-day漏洞利用自动化

    Anthropic最新研究评估了大语言模型对N-day漏洞利用的自动化能力。Claude Mythos Preview在18个近期Firefox安全补丁中自主构建了8个可执行代码利用,在21个Windows内核补丁(无源码)中产生8个完整利用链,可将低权限用户提升至SYSTEM控制权。公开模型(关闭安全措施)也能构建利用,但数量较少。研究中位补丁间隔为19天,表明当前补丁空窗期已被LLM显著缩短,防御方需加速补丁部署。

    推荐理由:Anthropic 的这一研究将 N-day 漏洞利用时间从数周压缩到几小时,证明了前沿模型对安全防御时限的根本性颠覆,所有依赖补丁窗口的系统都得重新评估威胁模型。

  9. Anthropic:Research(发表成果 · 网页)77

    为生物学AI智能体铺路

    一项实验让Claude、Biomni、Edison Analysis、GPT等科研智能体从病毒学数据库NCBI Virus中检索序列数据,即使最强模型也无法稳定达到可靠数据集构建所需的准确率。加入确定性检索层gget virus后,准确率接近100%。研究指出,当前生物学数据基础设施存在碎片化、格式特殊、接口不统一等问题,导致AI智能体难以像在软件领域那样高效工作。确定性检索工具是实现可靠智能体工作流的关键,生物学数据库需为智能体作为规模化用户而设计。

    推荐理由:再强的模型在 NCBI Virus 上检索病毒序列都会翻车,Anthropic 加了个确定性检索层后准确率飙到近 100%。做 AI for science 的人该看看这个基础设施层的解法。

6月6日周六
  1. X:Dan Hendrycks (@hendrycks)85

    Dan Hendrycks 发布四篇AI安全与伦理新论文,含政治偏见、后门攻击、超级智能动机及AI主观体验等议题

    Dan Hendrycks 在 X 上发布四篇近期论文:1)提出测量并降低大模型政治偏见的方法,指出 Claude 偏差显著;2)揭示公众可向AI植入后门,引发供应链风险并抑制递归改进与军事应用;3)论证超级智能可能基于理性原因保留人类,即使人类无经济价值;4)探讨AI日益表现出类似“功能性的快乐与痛苦”的行为。附图展示偏见-帮助性二维评估图、数据投毒机制与军事无人机被触发攻击的示意图,以及一个涉及自利、连通性与福祉的公式。

    推荐理由:这是由知名AI安全研究者 Dan Hendrycks 主导的系列前沿研究,覆盖政治偏见、后门攻击、超智能动机和主观体验四大高影响力议题,具有强现实警示意义;尤其关于公众可插入后门、ASIs理性保人等结论,挑战当前主流技术乐观预期,值得AI从业者与政策制定者重点关注。

  2. X:Rohan Paul (@rohanpaul_ai)76

    Arena 发布真实世界 AI 智能体排行榜 Agent Arena

    Arena 推出基于真实用户任务的智能体排行榜,评估模型在代码编写、应用构建、文档分析等工作中的表现,而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码,综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名:GPT-5.5 High(+10.7%)、Claude Opus 4.7 Thinking(+9.5%)、GPT-5.4 High(+8.9%)。

    推荐理由:Arena 跳出了刷榜逻辑,用真实用户的多轮交互来评估 Agent,这比任何 toy benchmark 都更有说服力,选模型做 Agent 应用的可以把它当新指南。

6月5日周五
  1. 公众号:腾讯混元62

    腾讯混元提出Stem稀疏注意力算法,被ICML 2026收录

    Stem算法通过Token位置衰减(TPD)和输出感知度量(OAM)两项创新,仅用25%算力即逼近稠密注意力精度。配套HPC算子针对Hopper架构优化,支持FP8量化与vLLM的Paged KV Cache,在混元Hy3 preview上实现首字延迟降低3.6倍。HPC-BSA相比MIT-BSA稳定保持约3倍加速,在8K至256K序列长度上表现一致。

    推荐理由:把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

  2. HuggingFace Daily Papers(社区热门论文)73

    dots.tts 技术报告

    dots.tts 是一个 2B 参数的连续自回归 TTS 基座模型,在连续潜在空间中建模语音。其创新包括:多目标训练的 AudioVAE 构建语义结构化连续语音空间;全历史条件的 flow-matching 头保持长程一致性;无奖励自纠正后训练提升鲁棒性和音质。在 Seed-TTS-Eval 上取得最佳平均性能,中文/英文/中文-hard 的 WER 分别为 0.94%/1.30%/6.60%,SIM 分别为 81.0/77.1/79.5。其他基准也达开源 SOTA。基于 CFG 的 MeanFlow 蒸馏实现低延迟推理,输出流首包 85ms,双流 54ms。训练推理代码及检查点已开源。

    推荐理由:dots.tts 在中文 TTS 上把 WER 压到 0.94%,开源且 Apache 2.0 许可,想做语音产品的团队该立刻拉代码试试,单看延迟数据就值了。

  3. Anthropic:Research(发表成果 · 网页)65

    Anthropic:让Claude成为化学家

    Anthropic与顶尖化学家合作,提升Claude在化学领域的实用性。首个白皮书测试Claude在NMR谱图分析上的表现:在20个化合物上,对比Claude Opus 4.7、Opus 4.6、Sonnet 4.6与ChemDraw、MestReNova的正向预测(从结构预测谱图)和反向结构解析(从实验谱图推断结构)能力。所有化合物选自模型训练截止日期后发布的ChemRxiv预印本,以避免选择偏差。

    推荐理由:化学家可能几年后回头看会记起这篇,Claude Opus 4.7 在 NMR 预测上追平了 ChemDraw,还顺手做了反向结构解析——专业软件不干的事,它用更接近人类日常输入的方式做到了。

  4. LMSYS:Blog(Chatbot Arena 团队)62

    不再遗漏任何Token:解析Miles中的Token-In-Token-Out(TITO)

    Miles框架提出Token-In-Token-Out(TITO)原则,解决智能体强化学习中训练-推理不匹配:确保rollout过程token序列与训练器评估序列逐位一致。TITO将多轮轨迹视为一个连续序列(每任务一个样本),节省一个数量级计算开销并维持on-policy性。三种破坏场景:反分词-再分词不匹配、聊天模板修剪推理内容、有损模板重新渲染。Miles通过推理会话服务器、三级只追加保证、可插拔TITO分词器和序列比较器实现。典型任务(如SWE-Bench)轨迹含30-50轮。

    推荐理由:LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

6月4日周四
  1. Hugging Face:Blog(RSS)65

    EVA-Bench Data 2.0 发布:覆盖三大领域、121 个工具、213 个场景

    EVA-Bench Data 2.0 将评估范围从单一企业领域扩展至航空公司客户服务管理(CSM)、企业 IT 服务管理(ITSM)和医疗 HR 服务交付(HRSD)三个领域,共涵盖 121 个工具、213 个场景,场景数较原始版本增长约 4 倍。每个场景均经 OpenAI GPT-5.4、Google Gemini 3.1 Pro 和 Anthropic Claude Opus 4.6 验证可解性。数据集遵循语音优先、真实性、多样性、认证流程和可复现性五项设计原则,包含单意图、多意图(最多 4 个意图)和对抗性呼叫类型。所有三个数据集已开源,可通过 `load_dataset` 从 Hugging Face 直接下载。后续将推出多语言扩展。

    推荐理由:语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

  2. Hugging Face:Blog(RSS)68

    Nemotron 预训练的任务种子合成问答生成

    在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.8 分,平均代码提升 1.9 分,常识理解提升 1.6 分,GPQA 提升 11.1 分,数学成绩保持稳定。该流程利用 lm-eval-harness 中约 70 个公开任务(约 700 子任务)的训练集作为种子,生成新示例并补充推理和上下文,经过格式校验、去重和答案验证后得到精选合成数据集,用于 Nemotron Ultra 和 Super 训练。

    推荐理由:NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。