當 Mark Drummond 在 Apple 參與 Vision Pro 開發時，他經歷了一次頓悟，這與蘋果的官方說法並不完全一致。

Drummond 當時負責「角色智慧團隊」，該團隊開發了「遇見恐龍」演示。這款預裝在 Vision Pro 上的演示讓觀看者能與互動式史前生物近距離接觸。

「我們與 Jon Favreau 一起開發了這個項目，」Drummond 提到 Apple 與《曼達洛人》導演的長期合作關係。「在頭戴裝置提供給我們帶到伯班克之前，我們使用的是 iPhone 和 iPad，」他回憶道。他認為依賴行動裝置進行演示是合理的，因為 VisionOS 本質上是 iPadOS 的分支。「實際上效果很好，我們在 iPhone 和 iPad 上獲得了非常好的體驗。」

透過這次經驗，Drummond 意識到這些行動裝置不僅僅是頭戴裝置的權宜之計。「我們在尋找互動式角色在混合實境中帶來驚喜和愉悅的來源時學到的是，頭戴裝置實際上並不是這類事物的最佳 [裝置]，」他說。

「我仍然認為它是一款非常出色的硬體，」Drummond 表示。然而，頭戴裝置也可能令人疏遠，將使用者與世界以及周圍的人隔離開來。「有點孤單，」Drummond 說。另一方面，手機上的 AR 應用程式更容易向他人展示。「人們可以從你肩膀後面湊過來看，」Drummond 說。

這就是為什麼在 2023 年離開 Apple 後不久，Drummond 便擁抱了行動裝置在擴增實境敘事方面的應用。在過去兩年半的時間裡，他一直在開發一款名為 Pixi 的新 iPhone AR 應用程式，該應用程式專注於行動優先的互動敘事。

簡而言之，Pixi 正在開發一種可以被描述為 AR 版電子問候卡的產品。當它在未來幾週內推出時，Pixi 將允許任何人選擇一個互動式角色和場景，添加個性化訊息，然後透過 iMessage 或 WhatsApp 發送給他們的聯絡人。一旦接收者打開這樣的 Pixi 訊息，角色就會出現在他們真實世界的攝影機視圖中，並與他們互動。

在最近的一次演示中，Pixi 的 AR 體驗包括一隻動畫貓和一個機器人。牠們可以在你的桌子上講笑話、和你玩井字遊戲，或挑戰你玩打地鼠遊戲。

乍看之下，如果你玩過 AR Snapchat 濾鏡或任何其他行動 AR 應用程式，這些似乎沒有什麼特別突破性的。「如果你對第一個產品沒有一點點不好意思，說明你推出得太晚了，」Drummond 說，並暗示該公司未來將整合更多角色和更複雜的故事情節。

然而，Pixi 整合了一些有趣的互動元素：例如，喜劇貓會不斷講冷笑話，直到應用程式透過手機前置攝影機偵測到觀看者微笑。之後，角色會像結束表演的喜劇演員一樣感謝觀看者的關注，並傳送個性化的問候訊息。

「為了讓角色感覺像是真實存在，它必須要有所關注，」Drummond 說。這不僅包括關注觀看者，還包括他們所處的環境。「這種關注只有透過裝置本身的 AI 才能實現。」Pixi 使用 AI 和機器學習來識別面部表情，該應用程式還會即時下載自訂 ML 模型來識別物體，然後將其融入故事中。

當行動 AR 透過 Snapchat 濾鏡和基於 ARKit 的應用程式首次流行起來時，開發者在與觀看者真實世界的環境互動方面幾乎沒有什麼可用的。基本上，應用程式會偵測表面，然後將任何虛擬物體放在這些表面之上。隨著時間的推移，AR 應用程式在遮擋方面變得更聰明，允許角色隱藏在真實世界的物體後面。最終，有些甚至提供了基本的物體偵測功能。

隨著最近 AI 的進步，物體識別的潛力得到了極大的提升，以至於應用程式能夠識別物體類別，理解它們的工作原理，並將它們融入互動體驗中。以下是 Drummond 對 Pixi 的 AR 問候卡未來將如何運作的設想：

「假設我有一個律師朋友。她升職了，我想祝賀她。我給她發送一個 [Pixi，裡面有一個] 黃金獵犬，它出現在辦公室地板上。牠看著她，然後開始嗅聞。牠走到一個文件櫃旁，非常專注於文件櫃的一個抽屜。她心想：狗，那只是舊的報稅單。狗不肯放棄。牠看著、嗅聞著、顯得很渴望。她打開了抽屜。裡面，我們藏著一個巨大的虛擬狗餅乾 [訊息是]：『恭喜，週五見。』」

這一切是否也能透過 Vision Pro 應用程式在技術上實現？也許吧。但還有許多其他原因阻礙了頭戴裝置的發展——包括 3,500 美元的價格標籤。「它很貴，」Drummond 承認，並補充說：「考慮到它擁有的驚人技術，僅顯示器就值這個價。」

然而，該裝置的高昂價格也阻礙了其普及，IDC 估計該公司在去年假期季度僅出貨了 45,000 台。「它的市場滲透率不高，」Drummond 說。

即使是擁有該裝置的人，也可能不願意每次收到兩分鐘的影片或體驗時都戴上它。「你並非隨時都帶著它，而且還有設定、拆卸的成本，」Drummond 說。「我們的手機隨時都在身邊。」

眾所周知，Vision Pro 只是 Apple 的第一步，據報導該公司正在開發自己的智慧眼鏡和 AR 眼鏡。然而，Drummond 認為，由於物理限制，這類眼鏡產品在未來幾年內將無法取代智慧手機。手機現在能夠在本地運行複雜的機器學習模型，而眼鏡的功率和計算能力將受到更多限制。由於這些限制，它們很可能像 Apple Watch 一樣，僅作為通知和導航的另一個顯示器。「我認為 Apple 的手錶和眼鏡將做同樣的事情，」他說。

這意味著，尋求建立互動娛樂體驗的 AR 開發者可能會發現，在可預見的未來，手機仍然是最佳平台——一個由於 AI 而日益強大的平台。