人工智能基准组织MLCommons宣布成立人工智能安全（AIS：AI Safety）工作组。AIS将开发一个平台和来自许多贡献者的测试库，以支持不同用例的人工智能安全基准。

人工智能系统为社会提供了巨大利益的潜力，但它们并非没有风险，如有害性、错误信息和偏见。与其他复杂技术一样，社会需要行业标准的安全测试来实现效益，同时将风险降至最低。

新平台将支持定义从测试库中选择的基准，并将输出汇总为有用的、可理解的分数——类似于其他行业的标准，如汽车安全测试评级和能源星级分数。

这项工作的当务之急是支持更严格、更可靠的人工智能安全测试技术的快速发展。AIS工作组将利用其成员和更大的人工智能社区的技术和运营专业知识，帮助指导和创建人工智能安全基准技术。

埃因霍温理工大学机器学习（ML）副教授Joaquin Vanschoren表示：“广泛的人工智能社区正在制定的安全基准具有开放性和动态性，这为制定和实现共同目标创造了真正的激励。”“如果任何人看到未解决的安全问题，他们都可以提出新的测试。我们有一些世界上最聪明的人聚在一起实际解决这些问题，使用基准意味着我们将清楚地了解哪些人工智能模型最能解决安全问题。”

初始重点将是开发大型语言模型（LLM）的安全基准，以斯坦福大学基础模型研究中心（CRFM）及其语言模型整体评估（HELM）的研究人员所做的开创性工作为基础。除了建立在HELM框架的基础上并纳入其许多安全相关测试外，工作组还希望一些公司将其内部用于专有目的的人工智能安全测试外部化，并与MLCommons社区公开分享，这将有助于加快创新步伐。

基础模型研究中心主任Percy Liang表示：“我们开发HELM这一模块化评估框架已经有大约2年的时间了。我很高兴能与MLCommons合作，利用HELM进行人工智能安全评估，这是我思考了7年的课题，随着强大的基础模型的兴起，这一课题变得极其紧迫。“

AIS工作组认为，随着测试的成熟，标准的人工智能安全基准将成为人工智能安全方法的重要组成部分。这与负责任的人工智能技术发展和基于风险的政策框架相一致，例如几家科技公司于2023年7月向美国白宫做出的关于安全、安保和信任的自愿承诺、NIST的人工智能风险管理框架以及欧盟即将出台的《人工智能法》。

MLCommons支持行业和学术界的广泛利益相关者开发共享数据、工具和基准，以更有效地构建和测试人工智能系统。MLCommons执行董事David Kanter表示：“我们很高兴能与会员合作。……明年，我们将专注于构建和部署人工智能安全基准，首先从开源模型开始，目的是在初步方法得到验证后，将基准更广泛地应用于其他LLM。”

首次参与AIS工作组的包括一个由人工智能专家组成的多学科小组，包括：Anthropic、Coactive AI、Google、Inflection、Intel、Meta、Microsoft、NVIDIA、OpenAI、高通，以及埃因霍温理工大学的学者Joaquin Vanstoren、斯坦福大学的Percy Liang和芝加哥大学的Bo·Li。学术界和产业界的研究人员和工程师以及民间社会和公共部门的领域专家均可参加工作组。点击阅读原文，了解如何参与AIS工作组。

关于MLCommons

MLCommons是构建人工智能基准的世界领导者组织。它是一个开放的工程联盟，其使命是通过基准和数据让每个人都能更好地进行机器学习。MLCommons的基础始于2018年的MLPerf基准，该基准作为一组行业指标迅速扩展，以衡量机器学习性能并提高机器学习技术的透明度。MLCommons与其125多名成员、全球技术提供商、学者和研究人员合作，专注于通过基准和指标、公共数据集和最佳实践为整个机器学习行业构建工具的协同工程工作。