摘要

1) 一句话总结 OpenAI 宣布向 The Alignment Project 提供 750 万美元资助,以推动和扩大前沿实验室之外的独立人工智能对齐(AI alignment)与安全研究生态系统的发展。

2) 关键点

  • 资助金额与对象:OpenAI 向由英国人工智能安全研究所(UK AISI)创立的 The Alignment Project 提供 750 万美元(约 560 万英镑)资助,由 Renaissance Philanthropy 协助管理。
  • 基金总规模:结合其他公共、慈善和行业支持,该基金总额超过 2700 万英镑,是迄今最大规模的独立对齐研究专项资助项目之一。
  • 资助范围与额度:支持全球范围内的对齐研究(涵盖计算复杂性理论、经济学与博弈论、认知科学、信息论与密码学等),单个项目资助额度为 5 万至 100 万英镑,并提供可选的算力与专家支持。
  • 资金拨付方式:该笔资金不会创建新的选拔流程,而是直接用于增加当前轮次中已通过专家审查的高质量项目的资助数量。
  • 管理机构优势:UK AISI 作为英国科学、创新和技术部(DSIT)下属机构,拥有成熟的跨部门联盟、已在运行的拨款机制以及丰富的严重 AI 风险研究管理经验。
  • OpenAI 的内部定位:OpenAI 内部主要利用前沿模型和大量算力,专注于开发可扩展的对齐方法,并坚持“迭代部署”以在实践中发现和解决安全问题。
  • 独立研究的价值:前沿实验室在基础性、概念性和探索性研究上不具备比较优势;健康的生态系统需要独立团队来测试替代框架和“蓝天设想(blue-sky ideas)”。

3) 风险/差距(原文明确提及)

  • 方法扩展风险:当前主流的对齐方法最终可能无法如预期般实现扩展(scale),因此需要基础性和概念性的替代方案作为后备。
  • 有效性未知:随着 AI 模型能力的不断提升,目前尚不确定哪些对齐方法将被证明是最持久有效的。
  • 发展不可预测性:AI 的未来发展轨迹不会完全按照任何人的预测展开,且演进速度可能非常快。

正文

随着人工智能系统变得越来越强大和自主,对齐(alignment)研究既需要跟上步伐,又需要扩大其多样性。在 OpenAI,我们在前沿对齐和安全研究上投入了大量资源,因为这对我们的使命至关重要。我们同样认为,确保通用人工智能(AGI)安全并造福全人类,绝非任何单一组织所能独立完成,因此我们希望支持那些可以在前沿实验室之外开展的独立研究和概念性方法。

今天,我们宣布向 The Alignment Project⁠(在新窗口中打开) 提供 750 万美元的资助。这是一个由英国人工智能安全研究所(UK AISI)创立的、旨在支持独立对齐研究的全球基金。Renaissance Philanthropy 正在协助管理该项资助。这笔捐款有助于使 The Alignment Project 成为迄今为止规模最大的独立对齐研究专项资助项目之一,并进一步强化了更广泛的独立生态系统。

像 OpenAI 这样的前沿实验室处于独特的地位,能够开展依赖于前沿模型访问权限和大量算力的对齐研究——这些工作往往是独立研究人员难以探索的。我们将大部分内部对齐工作致力于开发可扩展的方法,以确保对齐研究的进展能够跟上模型能力的提升。我们相信迭代部署——在逐步提升模型能力的同时加强安全保障——有助于尽早发现问题,并为我们在实践中哪些方法行之有效提供具体证据;同时,负责任的开发需要大量的对齐和安全工作,且这些工作必须与模型的构建和部署紧密结合。

与此同时,该领域也受益于对独立、探索性研究的持续投资——这可以拓展思路空间并发现新的方向。独立研究依然不可或缺;在许多有价值的探索中,实验室并不具备比较优势。一个健康的对齐生态系统依赖于独立团队去测试各种假设、开发替代框架,并探索那些可能与任何单一组织路线图不完全契合的概念性、理论性和蓝天设想(blue-sky ideas)。

此外,由于迈向 AGI 的进程最终可能取决于那些改变对齐问题形态以及决定哪些方法最有效的根本性突破,因此,即使今天的主流方法最终未能如我们预期般实现扩展,支持那些依然具有重要意义的研究也是至关重要的。在这些情况下,拥有一个强大的外部生态系统来进行基础性、概念性和非相关性(uncorrelated)的工作变得尤为重要。AI 对齐和安全问题具有史无前例的重要性,我们需要全员参与、齐心协力,因为随着模型能力的不断提升,我们尚不知道哪些方法将被证明是最持久有效的。

我们的资助——按当前汇率计算约为 560 万英镑——将与其他公共、慈善和行业支持者一起共同资助 The Alignment Project⁠(在新窗口中打开)。该基金总额超过 2700 万英镑,旨在支持全球范围内广泛的对齐研究项目组合,涵盖计算复杂性理论、经济学理论与博弈论、认知科学,以及信息论与密码学等多种主题。单个项目通常可获得 5 万至 100 万英镑的资助,并可选择性地获得算力资源和专家支持。

我们的资金不会创建新的资助计划或选拔流程,也不会影响现有的流程;它只是增加了在当前轮次中能够获得资助的、已经过审查的高质量项目⁠(在新窗口中打开)的数量。

UK AISI 非常适合管理和引导这一规模和范围的对齐资金。它汇集了涵盖政府、学术界、慈善界和工业界的成熟跨部门联盟,并拥有已在运行的拨款机制以及大量经过专家评审的提案库。作为英国科学、创新和技术部(DSIT)下属的政府研究机构,它还肩负着关注严重 AI 风险的使命,并在运营研究资助计划方面经验丰富。

因为 AI 的未来不会完全按照任何人的预测展开——并且可能会发展得非常快——我们认为民主化、“AI 韧性(AI resilience)”和迭代部署是必不可少的。在我们继续推进 OpenAI 的前沿对齐和安全研究的同时,随着模型能力的提升,整个领域的进步将受益于一个强大、多样化且独立的生态系统来探索互补的方法。这笔资助是迈向该目标的一步。随着该领域的不断发展,我们期待继续与更广泛的研究社区合作。

关联主题