个性化幻觉:LLM 如何编造用户画像,以及为何自我监控会误导
一项新研究揭示,个性化大语言模型普遍存在过度推断(OI)现象,即编造超出证据支持的用户属性。在 MirageBench 基准测试中,12 个模型均有 35%–49% 的推断被判定为虚构(均值 41.6%)。更关键的是,模型自我评估的 OI 与外部评测结果呈负相关(rho = -0.60),表明自我报告的可信度是误导性信号,外部验证才是更可靠的个性化基础。
推荐理由:12个主流LLM在个性化时平均有41.8%的推断是凭空编造的,且模型自己报告的过度推断程度与实际测得的程度呈负相关,打破了依赖自审来评估模型可信度的做法。