我們很高興宣布,ggml.ai(llama.cpp 的創始團隊)將加入 Hugging Face,以確保未來的 AI 真正保持開放。

Georgi 與團隊加入 Hugging Face,目標是擴展並支持 ggml / llama.cpp 社群,隨著本地 AI 在未來幾年持續呈指數級進步。

自 2023 年成立以來,ggml.ai 的核心使命一直是支持 ggml 機器學習庫的開發與採用。在過去三年中,這支小團隊致力於擴大開源開發者社群,並協助建立 ggml 成為高效本地 AI 推理的標準。這是透過與個別貢獻者、模型提供者及獨立硬體廠商的密切合作達成的。結果是,llama.cpp 如今已成為無數專案和產品的基石,使消費者硬體上能夠實現私密且易於存取的 AI。

在這段發展過程中,Hugging Face 成為此計畫最強大且支持度最高的合作夥伴。在過去幾年中,HF 的工程師(特別是 @ngxson 和 @allozaur)一直與我們團隊合作順暢且高效,雙方及社群均從中受益。因此,正式化並加強這項合作是理所當然的。

未來,Georgi 與團隊將繼續全心投入維護 ggml / llama.cpp,社群仍將完全自主運作,照常做出技術與架構決策。Hugging Face 將為專案提供長期且可持續的資源,提升專案成長與繁榮的機會。專案將持續保持 100% 開源與社群驅動,並且在模型發布後,量化工具的支援速度將更快。

接下來,我們的共同努力將聚焦於以下目標:

- 與 transformers 函式庫實現無縫「一鍵」整合。transformers 框架已成為 AI 模型定義的「真理來源」,提升 transformers 與 ggml 生態系的相容性對於擴大模型支援與品質控管至關重要。

- 改善基於 ggml 軟體的包裝與使用者體驗。隨著本地推理成為雲端推理的有力競爭選項,簡化一般用戶部署與存取本地模型的方式非常重要。我們將致力於讓 llama.cpp 普及且隨處可用,並持續與優秀的下游專案合作。

我們共同的目標是在未來數年內,提供建構開源超級智能的基礎元件,讓全世界都能輕鬆使用。我們將與日益壯大的本地 AI 社群攜手合作,持續打造在裝置上高效運行的終極推理堆疊。

我們很高興能繼續支持這個了不起的 llama.cpp 社群,感謝大家帶來的希望與對本地優先技術的長遠願景。

感謝所有推動 llama.cpp 前進的夥伴們,你們的努力與奉獻令人敬佩!