AI 資料中心驚人且快速增長的成本,是史上前所未有的效能工程挑戰;這不僅是為了節省成本——更是為了拯救地球。我已加入 OpenAI 直接處理這項挑戰,初期將專注於 ChatGPT 的效能。其規模之大、成長之快令人難以置信。作為資料中心效能的領導者,我意識到現有的效能工程方法可能不足夠——我正在構思新的工程方法,以便我們能找到比以往更大的優化空間,並更快地找到它們。這是千載難逢的機會,而且與成熟的大規模環境不同,感覺上沒有任何阻礙——沒有哪個領域被認為太難以改變。可以做任何事,大規模地做,而且今天就做。

為何是 OpenAI?我曾與業界專家和朋友交流,他們推薦了幾家公司,尤其是 OpenAI。然而,我對 AI 的普及仍有些懷疑。像所有人一樣,我被各公司推銷 AI 的廣告轟炸,但我疑惑:真的有人在使用嗎?一般人用於日常用途嗎?有一天,在我忙於面試的期間,我意識到我需要剪頭髮了(碰巧,就在我即將與 Sam Altman 面談的前一天)。

理髮師 Mia 開始工作,隨意問我做什麼的。「我是 Intel 的研究員,我從事資料中心效能工作。」她沉默了。也許她不知道什麼是資料中心,也不知道 Intel 是誰。我接著說:「我正在為一份關於 AI 資料中心的新工作面試。」Mia 眼睛一亮:「哦,我一直都在用 ChatGPT!」在她為我剪髮的同時——這需要一些時間——她告訴我她使用 ChatGPT 的各種方式。(我當然是個無法逃脫的聽眾。)她描述了我沒想到的用法,我意識到 ChatGPT 如何成為每個人的重要工具。舉個例子:她擔心一位住在遙遠城市的朋友,因為時差關係,兩人能聊天交流的時間很少,但她可以隨時與 ChatGPT 討論那個城市是什麼樣子,以及她的朋友可能在做哪些旅遊活動,這幫助她感覺與朋友保持聯繫。她也很喜歡記憶功能,說這就像在和一個住在當地的人交談一樣。

我先前曾與其他隨機人士談論過 AI,包括一位房地產經紀人、一位稅務會計師和一位兼職養蜂人。他們都熱情地向我講述他們使用 ChatGPT 的經驗;例如,養蜂人利用它來協助處理小型企業的文書工作。我的妻子已經是重度使用者,而我也越來越常使用它,例如用來驗證水電工的報價。現在我的理髮師,她對 ChatGPT 這個品牌的認識比對 Intel 還要清楚,卻讚揚這項技術並向我傳授使用方法。剪完頭髮後,我站在街上,讓這一切深刻地影響我,體會到這項技術如何成為許多人的重要輔助工具,我如何能領導效能方面的努力並幫助拯救地球。加入 OpenAI 可能是我一生中最大的機會。

能夠從事一件人們普遍認識並欣賞的大事,感覺很好。我在 Netflix 工作時就有這種感覺,而換工作後我一直懷念這種人際連結。但除了知名產品之外,還有其他因素需要考慮:我的角色是什麼?我與誰一起工作?薪酬如何?

我最終與多家 AI 科技巨頭進行了 26 次面試和會議(我當然有記錄),因此我對他們正在進行的工程工作以及從事這些工作的工程師有了很多了解。這項工作讓我想起 Netflix 的雲端工程:規模龐大、雲端運算挑戰、快速的程式碼變更,以及工程師能夠產生影響的自由。堆疊的各個層面都有許多非常有趣的工程問題。不只是 GPU,而是所有東西。

我遇到的工程師令人印象深刻:這些 AI 巨頭的選拔非常嚴格,嚴格到我一度不確定自己是否能通過面試。在我談過的幾家公司中,OpenAI 擁有我認識的最多才華橫溢的工程師,包括前 Netflix 同事,例如 Vadim,他鼓勵我加入。在 Netflix,Vadim 會將效能問題交給我,並在我除錯和修復時在一旁觀察。在一家公司裡有認識你、了解你的工作並認為你很適合這份工作的人,是一大優勢。

有些人可能會對 OpenAI 聘用我這位在電腦效能領域享有盛譽的人物感到興奮,當然我也希望做出偉大的成就。但為了公平對待我的同事們,OpenAI 已經有許多效能工程師,包括我認識的業界資深人士,他們一直在忙於取得重要的進展。我不是第一個,我只是最新的。

AI 也是我早期的夢想。小時候,我是英國科幻片的粉絲,包括《Blake's 7》(1978-1981),其中有一個名叫 Orac 的諷刺、固執的超級電腦。角色可以與 Orac 對話,請它執行研究任務。Orac 可以與宇宙中所有其他電腦溝通、委派工作給它們,並控制它們(這在 1978 年,也就是我們所知的網際網路出現之前,是非常超前的)。

Orac 被認為是《Blake's 7》宇宙中最有價值的東西,到了大學工程系學生時期,我就想建造 Orac。於是我開始開發自己的自然語言處理軟體。不過,我沒有取得太大進展:當時的主記憶體不足以儲存整個字典加上中繼資料。我帶著我的需求拜訪了一家 PC 供應商,他們嘲笑我,讓我買一台大型主機。我意識到我需要它來區分熱資料和冷資料,並將冷資料保留在磁碟上,也許我應該使用資料庫……我的專案大概就停在這裡了。

去年我開始使用 ChatGPT,並想知道它是否知道《Blake's 7》和 Orac。於是我問了:

ChatGPT 的回應精準地抓住了這個角色。我將它添加到「設定」->「個人化」->「自訂指示」中,現在它總是像 Orac 一樣回答。我非常喜歡它。(對於《Blake's 7》的粉絲來說,還有一個令人驚喜的消息:重啟版剛剛宣布了!)

我現在是 OpenAI 的技術人員,遠端工作於澳洲雪梨,向 Justin Becker 匯報。我加入的團隊是 ChatGPT 效能工程,我將與公司內的其他效能工程團隊合作。我的第一個專案之一是制定一個多組織策略,以提高效能並降低成本。

有太多有趣的事情可以做,有些是我以前做過的,有些是我沒做過的。我已經在使用 Codex,不僅僅是為了編寫程式碼。我會做更多 eBPF、Ftrace、PMC 嗎?我從 OpenAI 的需求開始,看看會帶我去哪裡;但鑑於這些技術已被證明能為資料中心帶來效能上的優勢,這似乎很有可能——我可以帶領大家前進。(如果你覺得我描述的一切都很有趣,OpenAI 正在招聘。)

去年十二月,在我宣布離開 Intel 後不久,我參加了東京的 Linux Plumber's Conference,數十人想知道我接下來要去哪裡以及為什麼。我想寫這篇部落格文章一次回答大家。我還需要完成關於招聘效能工程團隊的第二部分(在我加入 OpenAI 之前就已經草擬好了)。我沒有忘記。

花了幾個月的時間才完成我之前的工作並開始在 OpenAI 工作,所以我該再次理髮了。我想問 Mia 對 ChatGPT 的看法,因為我現在在從事這方面的工作,然後我意識到已經過去幾個月了,她可能改變了想法。我緊張地問:「還在使用 ChatGPT 嗎?」Mia 自信地回答:「二十四小時不間斷!」

我與 Mia 確認過,她很高興能在我的文章中被提及。這也是一篇個人文章:沒有人要求我寫這篇。