《寶可夢GO》是全球首款擴增實境(AR)爆紅遊戲。2016年由Google分拆出的Niantic公司推出,這款結合寶可夢系列的AR遊戲迅速成為全球現象。從芝加哥到奧斯陸再到江之島,玩家們走上街頭,急切地想捕捉胖丁、傑尼龜,或是極為罕見的加拉爾雷鳥,這些寶可夢都被疊加在日常世界的畫面中。
簡言之,就是數以億計的人們將手機對準無數建築物。Niantic Spatial的CTO Brian McClendon表示:「在60天內有5億人安裝了這款應用程式。」Niantic去年五月分拆出的AI公司Niantic Spatial,正利用這龐大且無與倫比的群眾外包數據——來自全球數億《寶可夢GO》玩家手機拍攝並標記了超精確位置的城市地標影像——建立一種世界模型,這是一項將大型語言模型(LLM)智慧與真實世界環境結合的新技術。
該公司最新的產品是一個模型,能根據幾張建築物或其他地標的快照,將你的地點精確定位在地圖上,誤差僅有幾公分。該技術旨在幫助機器人在GPS訊號不穩定的地方更精準地導航。
Niantic Spatial的首個大型測試合作夥伴是Coco Robotics,一家在美國和歐洲多個城市部署最後一哩送貨機器人的新創公司。McClendon說:「大家都認為AR是未來,AR眼鏡即將到來,但後來機器人成為了主要使用者。」
Coco Robotics在洛杉磯、芝加哥、澤西市、邁阿密和赫爾辛基部署約1000台行李箱大小的機器人,這些機器人可攜帶多達八個超大披薩或四袋雜貨。CEO Zach Rash表示,這些機器人迄今已完成超過50萬次送貨,行駛數百萬英里,適應各種天氣條件。
為了與人類快遞員競爭,Coco的機器人以約每小時五英里的速度在人行道上行駛,必須盡可能可靠。Rash說:「我們最好的工作方式就是準時抵達。」這意味著不能迷路。
Coco面臨的問題是無法依賴GPS,因為城市中無線電訊號會被建築物反射並互相干擾。Rash說:「我們在許多高樓林立、有高架橋和高速公路的密集區域送貨,這些地方GPS根本無法正常運作。」
McClendon補充:「城市峽谷是全球GPS最糟的地方。你手機上的藍點常常會漂移50公尺,這會讓你出現在不同街區、錯誤方向、甚至街道的另一側。」這正是Niantic Spatial的技術發揮作用的地方。
過去幾年,Niantic Spatial利用《寶可夢GO》和Ingress(Niantic於2013年推出的另一款手機AR遊戲)玩家收集的數據,建立了一套視覺定位系統,這項技術能根據你所見的景物判斷你的位置。Niantic Spatial執行長John Hanke說:「讓皮卡丘真實地在世界中奔跑,和讓Coco的機器人安全且精確地移動,實際上是同一個問題。」
ESRI公司開發數位地圖和地理空間分析軟體的Konrad Wenzel表示:「視覺定位並非新技術,但顯然我們擁有的攝影機越多,技術就越好。」
Niantic Spatial的模型訓練使用了300億張城市環境影像。這些影像主要集中在熱點區域——Niantic遊戲中鼓勵玩家造訪的重要地點,如寶可夢對戰場。McClendon說:「我們全球有超過一百萬個地點能精確定位你。我們知道你站在哪裡,誤差只有幾公分,更重要的是知道你看向哪裡。」
換句話說,對於這百萬個地點,Niantic Spatial擁有數千張從不同角度、不同時間、不同天氣條件拍攝的影像。每張影像都附有詳細的元資料,精確標示拍攝時手機在空間中的位置、朝向、是否移動、速度與方向等資訊。
該公司利用這套數據訓練模型,能根據所見景物準確預測位置,即使是在那些影像和定位數據較少的非熱點區域也能做到。
除了GPS,Coco的機器人裝有四台攝影機,將利用這套模型判斷自身位置與行進方向。Rash表示,機器人攝影機位於臀部高度,朝向四面八方,視角與《寶可夢GO》玩家略有不同,但數據調整相當簡單。
競爭對手也使用視覺定位系統。例如成立於2014年的愛沙尼亞機器人送貨公司Starship Technologies表示,其機器人利用感測器建立周遭環境的3D地圖,標記建築邊緣和路燈位置。
但Rash相信Niantic Spatial的技術將讓Coco更具優勢。他聲稱這能讓機器人精準停在餐廳外的取貨點,不會阻礙他人,並且能停在顧客門口,而非過去常見的幾步之外。
Hanke說,Niantic Spatial最初開發視覺定位系統是為了擴增實境應用。「如果你戴著AR眼鏡,想讓世界鎖定你所看的方向,就需要這種方法。」他說,「但現在我們看到機器人領域的爆炸性成長。」
這些機器人可能需要與人類共享空間,如建築工地和人行道。Hanke表示:「如果機器人要融入這些環境而不干擾人類,就必須具備相似的空間理解能力。我們能幫助機器人在被推擠或碰撞後,精確找到自己的位置。」
與Coco Robotics的合作只是開始。Hanke說,Niantic Spatial正在打造一個他稱為「活地圖」的系統:一個超細緻的虛擬世界模擬,隨著現實世界變化而更新。隨著Coco及其他公司機器人的移動,將持續提供新的地圖數據,豐富數位世界的複製品。
Hanke和McClendon認為,地圖不僅變得更詳細,也越來越多被機器使用,這改變了地圖的用途。地圖長久以來幫助人們定位,從2D到3D再到4D(如即時模擬和數位孿生),基本原則未變:地圖上的點對應空間或時間中的點。
然而,機器用的地圖可能需要更像導覽手冊,充滿人類理所當然的資訊。Niantic Spatial和ESRI等公司希望加入描述,告訴機器它們看到的是什麼,並為每個物件標註屬性清單。Hanke說:「這個時代是為機器建立有用的世界描述。我們擁有的數據是理解世界連結組織運作的良好起點。」
目前世界模型話題熱烈,Niantic Spatial也深知此點。大型語言模型看似無所不知,但在解讀和互動日常環境時缺乏常識,世界模型正是為了解決這個問題。部分公司如Google DeepMind和World Labs正在開發可即時生成虛擬幻想世界的模型,作為AI代理的訓練場。
Niantic Spatial則從不同角度切入。McClendon說:「推進地圖製作到極致,你會捕捉到一切。我們還沒達到,但目標就是重現真實世界。」