摘要
1) 一句话总结 GGML(llama.cpp 的创作者)正式加入 Hugging Face,双方将结合各自在本地推理与模型定义上的优势,共同推动本地 AI 的长远发展,同时保持项目完全开源与社区驱动。
2) 关键要点
- GGML 及其创始人 Georgi Gerganov 团队正式加入 Hugging Face。
- Georgi 团队将继续投入 100% 的时间维护 llama.cpp,并在技术方向和社区管理上保留完全的自主权与领导力。
- Hugging Face 将为该项目提供长期、可持续的资源支持。
- llama.cpp 项目将继续保持 100% 开源,并维持完全由社区驱动的运作模式。
- 核心技术目标是实现 transformers 库与 llama.cpp 的无缝衔接,支持将新模型几乎“一键式”地部署到本地推理环境中。
- 未来技术重点还包括:优化基于 ggml 的软件打包与用户体验、简化普通用户的本地模型部署流程,以及提升 llama.cpp 的普及率。
- 双方的长期愿景是打造最高效的设备端终极推理技术栈,为开源超级智能的普及提供坚实的基础构建块。
正文
我们非常高兴地宣布,Llama.cpp 的创作者 GGML 正式加入 Hugging Face(HF),以确保未来 AI 保持开源。随着本地 AI(Local AI)在未来几年继续呈指数级发展,Georgi Gerganov 及其团队加入 HF 的目标是进一步扩展和支持 ggml 与 llama.cpp 背后的社区。
我们与 Georgi 及其团队已经合作了很长时间(我们的团队中甚至已经有了像 Son 和 Alek 这样优秀的 llama.cpp 核心贡献者),因此这是一个水到渠成的过程。
llama.cpp 是本地推理的基础构建块,而 transformers 是模型定义的基础构建块,这两者的结合简直是天作之合。
开源项目与社区将迎来哪些变化?
几乎没有改变。Georgi 及其团队仍将投入 100% 的时间来维护 llama.cpp,并在技术方向和社区管理上拥有完全的自主权与领导力。
Hugging Face 将为该项目提供长期、可持续的资源支持,提升项目发展壮大的机会。该项目将继续保持 100% 开源,并像现在一样完全由社区驱动。
未来的技术重点
由于 llama.cpp 是本地推理的基础,而 transformers 是定义模型和架构的基础,我们将致力于在未来实现两者的无缝衔接。我们的目标是让用户能够几乎“一键式”地将 transformers 库(模型定义的“权威基准”)中的新模型直接部署到 llama.cpp 中。
此外,我们还将重点推进以下工作:
- 优化软件体验:改善基于 ggml 的软件的打包方式和整体用户体验。
- 简化部署流程:随着本地推理逐渐成为云端推理的有力竞争者,简化普通用户部署和访问本地模型的方式变得至关重要。
- 提升普及率:我们将努力让 llama.cpp 变得无处不在、随时随地可用。
我们的长期愿景
我们的共同目标是为社区提供坚实的构建块,在未来几年内让开源超级智能(open-source superintelligence)惠及全球。
我们将与不断壮大的本地 AI 社区携手共进,继续打造能在我们的设备上以最高效率运行的终极推理技术栈。
相关文档
- GGML 与 llama.cpp 加入 Hugging Face;关联理由:版本演进;说明:该文是同源主题的较早归档版本,可用于对照本稿的结构化整理结果。
- llama.cpp:轻量级本地大模型推理引擎;关联理由:解说;说明:该档案补充了 llama.cpp 的技术定位与生态背景,有助于理解本文“本地推理基础构建块”的含义。
- Transformers:开源模型定义库,面向多模态模型训练与推理;关联理由:上下游;说明:本文强调 transformers 与 llama.cpp 的衔接目标,该条目提供上游框架背景与生态上下文。