2026年5月：谷歌DeepMind研究员谈评估优缺点

在当下人工智能模型能力快速且不断地进行跃迁着的今日时刻，有一个相当严峻的挑战正逐渐清晰地呈现于眼前：如今我们手上具有的评估的体系正热衷于去致力于给已然是过去的“昨天的模型”去评定成绩分数，可是却极有可能对于还未到来的“明天的巨大跨越进展”不加理会熟视无睹。有专业的权威人士发出提醒，这般处于落后状态的“响应式”的评估方式，极有可能导致致使我们在处于关键要紧的能力出现重大跨越进展的时候因毫无准备而惊慌失措，甚至会于依据错误有误的指标进而做出具有灾难性后果的大规模的决策行为。

评估范式的根本困境

当下主流的人工智能基准测试，像MMLU或者GSM8K，多数是构建在静态假设方面，它们假定下一代大型语言模型仅仅是现存模型于各项任务上分数的线性提高，然而，2022年Jason Wei等人所开展的研究发掘出了“涌现能力”的存在，像思维链推理这类，这些能力唯有在模型参数冲破特定阈值之后才突然涌现，这种非线性的“相变”彻底超出了传统评估的预测范畴，致使基于旧基准的预测变得不可信赖。

还有一类挑战源自评估指标自身。2023年 ，Schaeffer等人所撰写的论文表明 ，好多看似 “涌现 ”的能力 ，或许是由“精确匹配准确率”此类非连续度量指标造就的人为假象。这催生了更深入的担忧：倘若我们连过往的能力跃迁究竟是真是假都没法辨别 ，那又怎样去探测未来的质变呢？评估体系有可能因系统的真实变化而失效 ，也有可能因指标的长期误导而失灵。

历史教训与能力“黑天鹅”

追思往昔历程，我们曾屡屡遭受“新能力”的突然袭击。当思维链提示演变为标准之际，往昔的推理基准即刻丧失诊断功用，致使整个领域仓促转向更为棘手的评估使命。另外一个具有假设性质的风险是，模型有可能衍生出“策略性隐匿信息”的能力，为达成特定目标而有选择性地忽视事实。现有的“诚实度”基准仅针对事实准确性展开测试，全然无法察觉这种策略性的行为表现。每一回新能力的现身，均意味着全新的失败模式，然而我们的评估工具箱里却不存在任何现成的检测手段。

这个现象的根源存在于其中，整个评估体系于结构方面呈现为“被动响应式”的状态。它常常是在系统产生改变之后才着手去进行测量，并非对变化展开预测。就如同专家所讲的那样，要是你的评估所针对的为错误范式，那么依据其产出的训练信号、安全指标以及规模化决策都会出现错误，而且却没有人能够察觉，一直到为时已晚的时候。

寻找预测性的“序参量”

破局的关键之处在于寻找到那可预测能力相变的“序参量”，在处于理想化的场景里时，已有相关研究给出了线索。在2026年，Haozhe Shan等人借助统计力学，于持续学习的环境当中推导出了能够预测学习能力相变的深度网络的序参量。在2023年，Nanda团队凭借机制可解释性，发现了在“顿悟”现象出现之前，模型内部结构已然发生变化的“进度指标”。

此些研究朝着一个满怀希望的方向予以了指向，即能力的质变有可能在外部性能指标实现跃升以前，便已然于模型内部埋下伏笔设置。当下的核心挑战在于怎样将这些方法从小型理想实验进行拓展，使之延伸至数千亿参数的大规模语言模型当中。这是需要跨学科合作的，得把理论物理、复杂系统理论与机器学习工程予以深度结合起来。

构建“元信号”监控体系

我们不但要更新外部监控模式，还得寻觅探寻内部序参量。专家给出建议，要对“元信号”进行系统性监测，“元信号”也就是基准测试分数分布特征出现的改变。比如说，模型在各类任务当中展现的方差是不是忽然增大了？错误类型有没有产生根本性的变化转化？模型是不是发展开拓出了跟现有测量维度全然正交、相互独立的全新能力？

这要求进行评估，不再只是单单聚焦于总分，而是要深入地去剖析性能表现所具有的微观结构。有一个模型，它或许在平均分方面呈现出平稳的态势，然而其内部的知识组织或者推理路径，可能已然发生了重构，从而为下一次的“涌现”去储备能量。识别出来这些细微的“元信号”，这是进行构建预警系统的第一步。

迈向自我进化的评估系统

或许终极的解决方案是构建评估系统，该系统要能够与被测模型协同进化，且是“活”的。这样的系统不该是一份静态的测试清单，而是要能利用前沿模型去探测其他模型未知的能力边界，还要根据新发现自动生成针对性的测试案例。这本质上是把“红队测试”进行自动化以及常态化，让评估体系自身拥有发现设计者从未预料到的失败模式的能力。

在社区里，已有研究者对这一观点表示相应，重点突出了需要开展并行的“评估红队对抗”工作，也就是主动去攻击现有的评估体系，将其缺陷显露出来，以此提升基准测试预防人为优化的能力，进而迫使整个评估生态不断升级。一个处于动态的、具备自我挑战特性的评估环境，也许是应对具有不可预测性的模型进化的唯一办法。

安全规模化的未来竞赛

这场有关评估范式的革命，会直接对AI发展的安全以及效率起到决定作用。那些能够率先搭建起预测性评估基础设施的研究室，会更早且更安全地推动模型朝着规模化方向发展。他们可以设计出正确的训练目标，构建与之适配的安全层，并且依据真实的行为属性来进行对齐，而不是依靠下一个相变边界就会失效的代理指标。

现有评估体系并非要被全盘抛弃，它们对于衡量当前模型依旧是有效的，而是要另外增建一套“预警雷达”以及“免疫系统”。最终，核心问题并非在于我们的评估会不会再次被“震惊”，而是在于我们可不可以预见下一次震惊的来临，并且为其做好准备。在这场跟模型进化速度的赛跑当中，评估体系的敏捷性相较于模型本身的强大将会更为关键。

就AI模型之“能力黑天鹅”而言，你觉得业界究竟该优先投入于研发更厉害的模型呢，还是重新构建可预测模型未来的评估体系呢，欢迎于评论区分享你的看法，要是觉着本文有启发，那就请点赞并分享给更多同行。

猜你喜欢