Google DeepMind希望透過認知科學來協助衡量通用人工智慧(AGI)的進展。他們最新發表的論文《衡量通用人工智慧進展:一個認知分類法》提出了一套理解AI系統認知能力的框架。您可以參與他們在Kaggle舉辦的黑客松比賽,設計關鍵認知能力的評估方法,並有機會贏得總獎金20萬美元的獎勵。
通用人工智慧(AGI)有潛力加速科學發現,並幫助解決人類最迫切的問題之一。但由於缺乏評估系統通用智慧的實證工具,難以判斷我們距離這一重要里程碑有多近。追蹤AGI的進展需要多元方法與途徑,而我們相信認知科學是其中重要的一環。
因此,我們今天發布了新論文《衡量通用人工智慧進展:一個認知分類法》,為理解AI系統的認知能力提供科學基礎。
同時,我們與Kaggle合作,啟動一場黑客松比賽,邀請研究社群協助建立實際應用此框架所需的評估方法。
我們的框架結合心理學、神經科學與認知科學數十年的研究成果,發展出一套認知分類法,識別出10項我們假設對AI系統通用智慧至關重要的關鍵認知能力:
為了理解AI在這些認知能力上的表現,我們提出三階段評估協議,將系統表現與人類能力進行基準比較:
定義這些認知能力是重要的第一步,但我們需要的不僅是框架,還要實際衡量進展。為了將理論付諸實踐,我們啟動了Kaggle黑客松「衡量通用人工智慧進展:認知能力」,鼓勵社群設計評估方法,聚焦於五項評估差距最大的認知能力:學習、後設認知、注意力、執行功能與社會認知。
參賽者可利用Kaggle新推出的社群基準平台,針對前沿模型建立並測試評估方法。
我們提供總獎金20萬美元:每個五個賽道的前兩名各獲1萬美元獎勵,四個整體最佳作品將獲得2.5萬美元大獎。投稿時間自3月17日至4月16日,結果將於6月1日公布。歡迎前往Kaggle網站開始創建。