AMP 是一家公共利益公司,其宗旨是最大化全球前沿科技的產出。
苦澀的教訓告訴我們,要解鎖前沿 AI 的進展,就必須擴展運算能力。經驗記錄證實了這一點。
近年來,專注於獨立的團隊在單位運算能力上展現了非凡的產出。Anthropic/Claude 在程式碼方面、Black Forest Labs/Flux 在圖像生成方面、Luma 在影片生成方面、ElevenLabs 和 Sesame 在語音和對話方面——這些都是在相對非苦澀教訓方法的情況下,在短時間內產生最先進成果的團隊。
前沿進展的最佳單位是專注、人才密集且能獲得龐大運算資源的團隊。
這種動態正在加速。AI 工具使專注的團隊變得更具能力。2022 年需要一個大型團隊才能完成的工作,現在到 2026 年可能只需要一個五人實驗室就能完成。程式碼生成、資料管道自動化和開放權重模型都增加了人才密度的回報——以及組織臃腫的代價。這也意味著有能力進行前沿工作的團隊數量正在爆炸式增長。
問題在於,獨立性帶來了沉重的結構性成本——運算利用率低且存取不確定。
前沿工作負載通常是不可預測的——大規模的訓練運行後是週期性的推理階段,期間穿插著閒置容量,以及介於兩者之間的許多情況。個別團隊難以有效地為此進行配置。他們經常必須為高峰期過度配置,並在低谷期浪費資源。他們缺乏專用的多租戶和規模來優化任務編排。
結果是,該領域最高產的團隊也經常是其最昂貴投入的最低效消費者。根據經驗,獨立團隊中高達 30-40% 的 FLOPs 經常未被使用,但這些團隊卻感覺運算資源總是不足。
這造成了一個殘酷的選擇。為了大規模存取運算資源並有效利用它,獨立團隊通常必須接受其最關鍵資源的一部分被浪費,或者他們必須不情願地加入已確保大規模運算資源的大型、不一致的組織。
在這種情況下,人類的處境會更糟,因為能夠在前沿發展的團隊數量減少了。一個健康的獨立前沿科技生態系統對創新有利。
然而,前沿創新以越來越大的規模消耗稀缺的物理資源——能源、土地、稀土。這些資源需要流向能夠有效地將瓦特、英畝和美元轉化為突破的組織。最大化單位稀缺物理資源的前沿產出是一個關乎人類規模的問題。
一個獨立的 AI 網格——一個匯集獨立團隊運算資源的系統——可以解決這個問題。
這是透過解耦兩個擴展問題來實現的。創新透過獨立性來擴展。運算能力透過匯集基礎設施來擴展。
利用率的經濟效益可能非常可觀。當網格成員在任何給定時間處於不同階段時——一個團隊處於研究模式,而另一個團隊處於部署模式——即使每個單獨的工作負載都是波動的,總體需求曲線也是平滑的。
當獨立團隊匯集其運算需求時,他們創建了一個基礎設施層,其唯一功能是為彼此最大化利用率,而不會損害個人自由。每個成員保持獨立,對自己的基礎負載保持完全控制,並能以大規模的基礎設施存取,否則就需要成為那種單位運算產出較少的組織。
前沿工作負載帶來了嚴格的基礎設施問題——靜默資料損壞、拓撲感知調度、電源管理、快速檢查點——這些是通用雲端提供商無法解決的問題。今天,每個實驗室都建立自己的團隊來解決這些問題,在該領域重複勞動。一個網格將這些問題一次性解決,作為每個成員都可以利用的共享自動化。
一個可能的反駁是,AI 網格只是多了一個步驟的雲端。
區別在於,網格在提供商之間匯集運算資源,使得運算資源的存取對個別團隊盡可能靈活。
第二個反駁可能是,網格成員會「畢業」——隨著個別網格成員的規模擴大,它可以內部複製網格的價值,不再需要它。這可能是部分正確的:單一成員可以複製的東西——調度器、營運團隊、採購槓桿、代幣折扣——在規模擴大時價值會降低。但網格集體提供的東西在規模擴大時價值會增加:所有成員之間的平滑需求曲線、整個生態系統的集體智慧,以及在危機時期,一個協調一致的網格可以為每個個別成員提供的規模安全保障。
苦澀的教訓告訴我們必須擴展運算能力。現實告訴我們,在不損害大規模獨立性的情況下做到這一點很困難。AI 網格是一個系統,如果操作得當,可以解決這個問題。
AMP 是一家公共利益公司。我們的願景是建立一個健康、獨立的前沿科技生態系統。我們的使命是最大化全球前沿科技的產出。
我們的全職創始團隊包括來自 A16Z 的 AI 基礎設施基金、Google 的全球 AI 基礎設施工程團隊的成員,以及來自 Orrick 和 Edelman 的合夥人。
我們的創始網格合作夥伴包括一些世界領先的研究實驗室。
我們的即時目標是確保透過 AMP 消耗的運算能力能為我們的成員和全人類帶來更多的訓練運行、更多的實驗、更多的前沿研究產出。
每一次技術革命都會留下一個問題。這實際上是為誰服務?我們正在建立 AMP,以確保更多人、在更多地方,比以往任何時候都更能受益。
公共財富基金,從 AMP 2030 年前的利潤中撥出高達 5 億美元,是該承諾的一部分。這筆資金將直接用於經歷 AI 轉型的地方社區。
為實現這一目標,我們特別關注幾個關鍵領域的想法:教育和勞動力準備、醫療保健可及性、地方經濟韌性,以及讓 AI 直接服務於目標人群的計畫。如果您在這些領域或更廣泛的領域看到需求,請在下方分享您的想法。