在整個 AI 產業中,使用者越來越意識到部署 AI 的高昂成本,並感受到降低成本的新迫切需求。然而,儘管開源模型的每代幣成本顯著較低,但要為特定任務找到合適的模型可能很困難。
週四,提供行銷人員 AI 工具和代理服務的公司 Writer 推出其新的旗艦模型 Palmyra X6,旨在為其使用者解決這個問題。Writer 表示,該新系統建立在 Z.ai 的開源模型 GLM-5.2 的後訓練變體之上,應能以更低的價格提供部署就緒的功能。該公司估計,新模型結合公司框架基礎設施的變更,將使客戶的基本任務成本降低高達 50%。
除了新模型,該公司還發布了其標準代理框架的重大升級。這兩項功能將從週四開始提供給 Writer 客戶。
Writer 執行長 May Habib 告訴 TechCrunch:「我認為企業絕對厭倦了追逐下一個基準。他們想要成本穩定,而似乎沒有人能做到這一點。」
新方法特別強調複雜的多步驟任務,這些任務執行得更快,使用的代幣也更少。Writer 認為框架優化是實現這一目標的關鍵槓桿。
Writer 研究人員最近的一篇論文為這種方法提供了可信度,該論文測試了框架效率在多個不同模型上的微小變化。研究發現,在許多情況下,框架的變化比模型選擇更能可靠地降低成本,在其測試中平均成本下降了 40%。
研究人員寫道:「框架是唯一一個其效率能夠在組織運行的一個和未來的所有模型上成倍增加的組件。」
對於 Writer 的客戶來說,體驗仍然是模型無關的:Palmyra X6 將與其他 Writer 模型或透過 Azure 或 Amazon Bedrock 導入的外部模型並存。但 Habib 也認為,降低成本的推動力導致了對大型 AI 實驗室更廣泛的不信任,因為這些實驗室在財務上有動機推高代幣的使用量。
Habib 告訴 TechCrunch:「對客戶而言,這裡的成本爆炸是前所未有的,CIO 們對這些實驗室越來越失望。」他補充說,AI 實驗室「沒有深入了解如何幫助企業從 AI 中獲益。」