運算能力的爆炸性成長是我們這個時代的科技故事。而這才剛剛開始。

我們是為了線性世界而演化的。如果你走一小時，你會走一定的距離。走兩小時，你會走雙倍的距離。這種直覺在 જોઈએ（savannah）上對我們很有幫助。但當面對 AI 及其核心的指數級趨勢時，這種直覺會災難性地失效。

現在有三項進展正在匯聚，使這一切成為可能。首先，基本的計算器變得更快了。Nvidia 的晶片在短短六年內，原始效能就提高了七倍多，從 2020 年的 312 teraflops 提升到今天的 2,250 teraflops。我們自己的 Maia 200 晶片，於今年一月推出，每美元的效能比我們機隊中的任何其他硬體都高出 30%。其次，由於一種稱為 HBM（高頻寬記憶體）的技術，數據的傳輸速度更快了。HBM 將晶片垂直堆疊，如同微型摩天大樓；最新一代的 HBM3，其頻寬是前一代的三倍，能以足夠快的速度為處理器提供數據，使其始終保持忙碌。第三，擁有計算器的人數從一個人變成一個辦公室，然後變成一個整個園區或城市。像 NVLink 和 InfiniBand 這樣的技術將數十萬個 GPU 連接成倉庫大小的超級電腦，這些超級電腦能作為單一的認知實體運作。幾年前，這是不可能的。