機器人領域的一大趨勢是將控制權交給生成式 AI 模型，但這也帶來了一個問題：這種架構不像傳統演算法那樣具有可預測性。你如何確定你的全新人形機器人是安全的？
卡內基美隆大學安全 AI 實驗室主任 Ding Zhao 博士，幾乎窮盡其職業生涯都在研究這個問題。現在，他與資深創業高管 Kyle Wong 和機器學習工程師 Simo Rachidi 共同創立了一家公司 Safeworld，旨在解決這個問題。
「我們談論的安全挑戰是結合了，第一，非常先進的生成式 AI 機率性評估——你如何為一個機率性系統承保風險？」Zhao 說。「第二個非常困難的部分是信任，而部署機器人需要兩者兼備。」
Safeworld 今日宣布退出隱匿模式，並獲得了超過 1200 萬美元的種子輪融資，由 Shine Capital 和 a16z Speedrun 領投，Box Group、卡內基美隆大學基金會、Innovation Endeavors 和 SV Angel 等公司也參與了投資。
a16z Speedrun 合夥人 Jonathan Lai 告訴 TechCrunch：「現在是建立產業安全標準的時機，因為機器人正在被設計和部署。等到機器人進入家庭，與兒童發生碰撞並造成安全事故時，那就太晚了。」
Safeworld 的專長是在模擬環境中評估機器人控制系統，這些模擬環境中充滿了逼真的人類模型。這類似於 Tesla 或 Wayve 等公司面臨的挑戰，它們必須確保其車輛能對道路上遇到的各種意外情況做出適當反應。但 Zhao 認為，這對機器人來說會更困難，因為它們在非結構化環境中工作，而且它們所在的每個設施都會有不同的安全標準。
Wong 說：「最常見的區域之一是，如果這個特定的工廠有一個盲角。你需要多快的速度或多長的煞車距離才能確保這個機器人不會與特定人類發生碰撞？例如，如果一個人正在搬箱子，機器人會偵測到這個人嗎？」
為了回答這個問題，Safeworld 將在 Genesis 或 MuJoCo 等模型中建立該角落的數位版本，插入正在評估的機器人模擬，由其真實軟體驅動，然後運行數千種人類模型與機器人互動的場景。根據 Zhao 的說法，這比看起來要困難，因為人類是不可預測的。
Wong 表示：「絆倒和摔倒也是我們在模擬中進行大量測試的一個很好的例子。否則，你必須親自去為機器人絆倒和摔倒，這是一件持續不斷的難事。」
Safeworld 正在建立的平台與機器人製造商內部使用的工具之間有明顯的相似之處。然而，創始人認為，除了他們自身的專業知識外，機器人製造商還希望有第三方來驗證他們的工作，即使只是為了在競爭對手之間分享安全案例的資訊。
Zhao 說：「很多人低估了其中一些邊緣案例的解決難度。我們擔心的不是機器人在真空中的演示，而是大規模部署的機器人，以及那些可能從未操作過機器人的人。」
Gritt Robotics 的 CTO Vishal Dugar 正在為機器人開發 AI 大腦，這些機器人目前協助工人安裝工業級太陽能農場的光伏板，並渴望承擔更複雜的建築任務。他的公司正在與 Safeworld 合作開發安全模擬。
Dugar 表示：「我們大多數系統的難點在於，很難透過數學計算、寫方程式來正式證明，並說這個系統已經被驗證是安全的。這必然需要透過實驗來完成。」
他的機器人在人類工人旁邊操作，確保機器人手臂不會擊中他們顯然是首要考量。要在實踐中驗證這一點，需要考慮各種潛在的場景。
Dugar 指出：「人類有各種各樣的外觀。他們的身體可能處於不同的配置。他們可能跪著、站著。他們可能正在絆倒和摔倒。他們可能蹲著。他們可能正在跑步。你必須對人類在這些場地上可能表現出的所有行為做出反應，以及人類外觀的各種變化，你知道的，衣服、體型、身高、膚色，以及其他所有東西。」
對於 Safeworld 和機器人領域的生成式 AI 來說，都還處於早期階段，該公司仍在摸索其產品的最佳模式——是為外部用戶提供的平台，還是基於服務的方法？——但團隊對他們正在解決的問題充滿信心。
Zhao 說：「我們可能會是這個領域第一家盈利的公司。因為如果有人想部署，他們就需要付錢給我們來處理這種情況。」
