摘要

1) 一句话总结 GGML(llama.cpp 的创作者)正式加入 Hugging Face,双方将结合各自在本地推理与模型定义上的优势,共同推动本地 AI 的长远发展,同时保持项目完全开源与社区驱动。

2) 关键要点

  • GGML 及其创始人 Georgi Gerganov 团队正式加入 Hugging Face。
  • Georgi 团队将继续投入 100% 的时间维护 llama.cpp,并在技术方向和社区管理上保留完全的自主权与领导力。
  • Hugging Face 将为该项目提供长期、可持续的资源支持。
  • llama.cpp 项目将继续保持 100% 开源,并维持完全由社区驱动的运作模式。
  • 核心技术目标是实现 transformers 库与 llama.cpp 的无缝衔接,支持将新模型几乎“一键式”地部署到本地推理环境中。
  • 未来技术重点还包括:优化基于 ggml 的软件打包与用户体验、简化普通用户的本地模型部署流程,以及提升 llama.cpp 的普及率。
  • 双方的长期愿景是打造最高效的设备端终极推理技术栈,为开源超级智能的普及提供坚实的基础构建块。

正文

我们非常高兴地宣布,Llama.cpp 的创作者 GGML 正式加入 Hugging Face(HF),以确保未来 AI 保持开源。随着本地 AI(Local AI)在未来几年继续呈指数级发展,Georgi Gerganov 及其团队加入 HF 的目标是进一步扩展和支持 ggml 与 llama.cpp 背后的社区。

我们与 Georgi 及其团队已经合作了很长时间(我们的团队中甚至已经有了像 Son 和 Alek 这样优秀的 llama.cpp 核心贡献者),因此这是一个水到渠成的过程。

llama.cpp 是本地推理的基础构建块,而 transformers 是模型定义的基础构建块,这两者的结合简直是天作之合。

开源项目与社区将迎来哪些变化?

几乎没有改变。Georgi 及其团队仍将投入 100% 的时间来维护 llama.cpp,并在技术方向和社区管理上拥有完全的自主权与领导力。

Hugging Face 将为该项目提供长期、可持续的资源支持,提升项目发展壮大的机会。该项目将继续保持 100% 开源,并像现在一样完全由社区驱动。

未来的技术重点

由于 llama.cpp 是本地推理的基础,而 transformers 是定义模型和架构的基础,我们将致力于在未来实现两者的无缝衔接。我们的目标是让用户能够几乎“一键式”地将 transformers 库(模型定义的“权威基准”)中的新模型直接部署到 llama.cpp 中。

此外,我们还将重点推进以下工作:

  • 优化软件体验:改善基于 ggml 的软件的打包方式和整体用户体验。
  • 简化部署流程:随着本地推理逐渐成为云端推理的有力竞争者,简化普通用户部署和访问本地模型的方式变得至关重要。
  • 提升普及率:我们将努力让 llama.cpp 变得无处不在、随时随地可用。

我们的长期愿景

我们的共同目标是为社区提供坚实的构建块,在未来几年内让开源超级智能(open-source superintelligence)惠及全球。

我们将与不断壮大的本地 AI 社区携手共进,继续打造能在我们的设备上以最高效率运行的终极推理技术栈。

相关文档

关联主题