專為特定需求打造的小型語言模型(SLM)為政府組織提供了一個實際可行的解決方案,使其能在所需的安全性、信任與控制下,將人工智慧(AI)投入實務運作。
AI熱潮席捲各行各業,公共部門組織也面臨加速採用的壓力。然而,政府機構在安全、治理和運作方面有其獨特限制,與企業部門截然不同。因此,專為此環境設計的小型語言模型(SLM)成為推動AI實務應用的有力途徑。
Capgemini的研究發現,全球79%的公共部門高層對AI的資料安全持謹慎態度,這在政府資料高度敏感且法律義務嚴格的背景下是可以理解的。Elastic的AI副總裁Han Xiao表示:「政府機關必須非常限制他們傳送到網路的資料種類,這對他們如何思考與管理資料設下許多界限。」
對敏感資訊的控制需求是AI部署面臨的眾多挑戰之一,尤其與私部門的標準運作假設相比更為複雜。
私部門在擴展AI時,通常假設會有持續連接雲端、依賴集中式基礎設施、接受模型透明度有限,以及資料移動限制較少等條件。然而,對許多政府機構而言,接受這些條件可能是危險甚至不可能的。
政府機關必須確保資料掌握在自己手中,資訊能被檢查與驗證,且運作中斷降至最低。同時,他們經常在網路連線有限、不穩定或無法使用的環境中運作系統。這些複雜性使許多有潛力的公共部門AI試點無法超越實驗階段。Xiao說:「很多人低估了AI的運作挑戰。公共部門需要AI能在各種資料上可靠運作,並且能穩健成長。持續運作常被忽視。」Elastic對公共部門領導者的調查發現,65%的人難以持續即時且大規模使用資料。
基礎設施限制更使問題複雜化。政府組織在取得用於訓練與執行複雜AI模型的圖形處理器(GPU)方面也常遇困難。Xiao指出:「政府不像私部門常購買GPU,他們不習慣管理GPU基礎設施,因此取得GPU成為公共部門的瓶頸。」
公共部門的多項不可妥協需求使大型語言模型(LLM)難以適用,但SLM可本地部署,提供更高的安全性與控制力。SLM是專門設計的AI模型,通常使用數十億而非數千億參數,計算需求遠低於最大型的LLM。
公共部門不需建造越來越大的模型並集中於離線地點。一項實證研究發現,SLM的表現與LLM相當甚至更佳。SLM能有效且高效地使用敏感資訊,同時避免維護大型模型的運作複雜性。Xiao表示:「用ChatGPT校對很簡單,但在無網路環境下順暢運行自己的大型語言模型非常困難。」
SLM專為使用部門或機構的需求打造。資料安全地存放於模型外部,僅在查詢時存取。精心設計的提示確保只檢索最相關資訊,提供更準確的回應。透過智慧檢索、向量搜尋與可驗證來源依據等方法,可建構符合公共部門需求的AI系統。
因此,公共部門AI採用的下一階段可能是將AI工具帶到資料端,而非將資料送往雲端。Gartner預測,到2027年,小型專用AI模型的使用將是LLM的三倍。
Xiao說:「公共部門聽到AI,可能會想到ChatGPT,但我們可以更有野心。AI能徹底改變政府搜尋與管理大量資料的方式。」
超越聊天機器人,AI最即時的機會之一是大幅提升搜尋能力。公共部門擁有大量非結構化資料,包括技術報告、採購文件、會議記錄與發票。現今AI能從混合媒體(如可讀PDF、掃描檔、圖片、試算表與錄音)及多種語言中提供結果。這些皆可由SLM驅動系統索引,提供量身定制的回應並草擬複雜文本,同時確保輸出符合法律規範。Xiao說:「公共部門有大量資料,但他們不總是知道如何使用,也不清楚可能性。」
更強大的是,AI能幫助政府員工解讀所取得的資料。Xiao表示:「現今AI能提供全新視角,協助善用資料。」訓練良好的SLM能解讀法律規範、從公眾諮詢中萃取洞見、支持數據驅動的決策,並改善公共服務與行政資訊的可及性,這將大幅提升公共部門的運作效率。
聚焦SLM將討論重點從模型的全面性轉向效率。LLM需付出高昂的效能與計算成本,且需專用硬體,許多公共機構無法負擔。雖然SLM仍需一定資本支出,但資源需求較低,成本較低且環境影響較小。
公共部門常面臨嚴格的審計要求,SLM演算法可被文件化並認證為透明。一些國家,特別是歐洲,還有如GDPR的隱私法規,SLM可設計以符合這些規範。
量身打造的訓練資料產生更精準結果,減少AI常見的錯誤、偏見與幻覺。Xiao說:「大型語言模型根據訓練資料生成文本,訓練有截止日期,超出時間範圍的問題會產生幻覺。我們可透過強制模型依據驗證來源來解決。」
風險也因資料保留於本地伺服器或特定裝置而降低。這不是隔離,而是為了戰略自主,促進信任、韌性與相關性。
透過優先採用為本地資料處理環境設計的任務專用模型,並持續監控效能與影響,公共部門可建立支持實際決策的持久AI能力。Xiao建議:「不要從聊天機器人開始,從搜尋開始。許多我們認為的AI智慧,其實是找到正確資訊。」