英国 AISI 与 EvalEval 如何让基准测试结果可复现

2026-09-23 · Hugging Face

英国 AISI 与 EvalEval 如何让基准测试结果可复现

EvalEval Coalition 宣布，英国 AI 安全研究所（AISI）正在使用 EvalEval 的基础设施公开分享评估结果。此举旨在支持更可复现、更可验证的评估科学。双方此前已有合作，始于与 NeurIPS 2025 同期举行的联合研讨会；AISI 的反馈也帮助塑造了 Every Eval Ever（EEE）模式。此次合作的新阶段，将这一共享基础设施投入实际使用。

为什么可复现的评估报告很重要

随着 AI 部署加速，评估正成为关于模型和系统性能的重要证据来源。然而，结果往往以多种格式、平台和渠道报告，且常常缺少足够信息来复现。重新运行评估本身可能成本高昂，甚至令人望而却步。

EvalEval 的使命是通过共享报告模式 Every Eval Ever，以及开放平台 Evaluation Cards，改善这一生态。Evaluation Cards 将评估结果和解释结果所需的信息放入共同结构。该工作也自然建立在 AISI 已有努力之上：通过 OptStop 提高评估效率，通过 HiBayES 提升统计严谨性，并在转录分析和能力诱发等领域推动标准化。双方共同诊断评估报告中的缺口，并建设共享基础设施来弥合这些缺口。

AISI 分享了什么

转录层面的透明度不仅对可复现性重要，也对分析和诊断重要。在新阶段，AISI 正在适当范围内，通过 Evaluation Cards 公开已报告的评估方法和发现。此次发布包括论文主实验中五个基准的已验证结果、背景和配置信息：

• HealthBench
• FrontierMath
• Humanity's Last Exam
• SWE-Bench Pro
• Terminal-Bench 2.0

这些结果覆盖六个前沿模型：

• Claude Opus 4
• Claude Opus 4.5
• Claude Opus 4.6
• GPT-5
• GPT-5.2
• GPT-5.4

发布还包括两个相关网络评估的结果：Cyber CTFs 和 The Last Ones。它们使用不同且部分重叠的模型集合。这些数据伴随 AISI 的论文《How Inference Compute Shapes Frontier LLM Evaluation》，该论文研究基准表现如何取决于推理时计算和评估协议。

协议与推理计算如何影响结果

以 Humanity's Last Exam 为例，其表现会随评估协议和推理计算而变化。每条曲线显示在给定 token 数内解决尝试任务的累计比例，使用每个任务最早观察到的成功。当模型在每次尝试后从 oracle 获得正确性反馈时，随着 token 使用增加，它们会继续解决更多任务。

当结果与设置信息一起公开时，研究人员和实践者可以更仔细地检查个别研究，并在更广泛生态中比较发现。在其他报告缺少这些细节时，像 AISI 这样的发布提供了已验证的参考点，帮助在上下文中解释评估。例如，它可以帮助研究人员理解设置选择可能如何影响报告的性能。随着更多评估者采用 EEE，这类开放比较可以支持更广泛、更可靠的元研究。

AISI 的 Terminal-Bench 2.0 结果与其他针对相同模型、在不同评估设置下报告的评估并列展示。

参与共同使命

EvalEval 对这次采用感到兴奋，并期待与 AISI 及其他 AI 评估组织进一步标准化和分享评估。不同角色可以参与：

• 模型开发者：报告已验证的评估结果。
• 评估开发者：使用 Every Eval Ever 模式报告基准和运行数据。
• 评估、治理和政策研究者：按基准或模型探索 Evaluation Cards，或用它检查评估报告的整体状态。

关于 EvalEval Coalition

EvalEval Coalition 是一个研究社区，为评估生态开发有科学依据的研究和稳健的部署基础设施。其目标是改善评估科学，解决在记录评估适用性和效用方面缺乏共识的问题，并扩大对科学研究和政策分析重要影响的覆盖。

该联盟的旗舰项目包括 Every Eval Ever，一个用于评估结果的共享模式和存储库；以及 Evaluation Cards，它将基准元数据、评估运行数据和模型元数据组合成可解释记录。两者共同使人们更容易理解，看似相似的分数是否在显著不同的条件下产生。

关于英国 AI 安全研究所

英国 AI 安全研究所是英国政府科学、创新和技术部内的一个研究组织。其使命是让政府以科学理解先进 AI 带来的风险。AISI 开展研究并建设基础设施，以理解先进 AI 的能力和影响，开发和测试缓解措施，并为政策提供信息。

进一步阅读

• How Inference Compute Shapes Frontier LLM Evaluation
• HiBayES: Improving LLM evaluation with hierarchical Bayesian modelling
• HiBayES paper
• OptStop paper
• Every Eval Ever
• Evaluation Cards

原文链接