九年前，Google 研究人員推出了 Transformer，這種神經網路家族已成為所有主要大型語言模型（LLM）的核心引擎。但 Transformer 已開始顯露老態。

隨著 LLM 變得更大、更好，Transformer 已成為瓶頸。它們的密集注意力機制隨著文本量的增加而變得越來越昂貴，而且它們在一次追蹤大量資訊方面表現不佳。

以下是解決 Transformer 問題的四個新想法——這些創新可能會徹底改變 LLM，使其更快、更有效率，（或許）甚至更聰明。

這篇文章來自 MIT Technology Review 的「What’s Next」系列，該系列關注各個產業、趨勢和技術，讓您搶先預見未來。您可以在此閱讀其餘文章。

上週，我前往加州山景城的一家飯店，與一些世界上最傑出、最有前途的 AI 研究人員會面。我正在主持圓桌訪談，並在一個由 Eric 和 Wendy Schmidt 資助、支持從事 AI 研究的學者的 Schmidt Sciences AI2050 計畫的媒體培訓中發表演講。

研究員名單匯集了 AI 領域的眾多權威，雖然並非所有人都來到了灣區，但每次轉彎我都會看到一位我先前採訪過的研究員，或是我所敬佩其研究的科學家。對於大學 AI 研究人員來說，這是一個奇怪的時期，他們佔了 AI2050 群體的大多數。閱讀 Grace 的故事，了解原因以及接下來可能發生什麼。

我已搜尋網路，為您找到今天最有趣/重要/可怕/迷人的科技故事。

——參議員 Bernie Sanders 在一封信中敦促 Sam Altman、Dario Amodei 和 Mark Zuckerberg 暫停所有 AI 開發。

一個新的科學領域正在利用基因定序來預測胚胎可能成為什麼樣的人。有些父母會透過這些測試來避免毀滅性的遺傳疾病，而一小部分人則願意支付數萬美元來優化智力、外貌和個性。

然而，客戶可能沒有得到他們所支付的價值。遺傳學專家多年來一直強調這類測試的潛在缺陷，而其潛在假設也使這些公司成為政治上的眾矢之的。

隨著這項技術逐漸走向主流，科學家和倫理學家正競相應對其影響——對我們的社會契約、對子孫後代，以及對我們對身為人類的理解。

一個提供舒適、樂趣和轉移注意力的地方，讓您的一天更美好。（有什麼想法嗎？請告訴我。）

+ 一隻眼尖的邊境牧羊犬正在將撿球遊戲帶入新境界。

+ musicForprogramming 努力製作了適合持續專注的完美音樂。

+ 當孩子們設計遊樂場時，他們創造了結合巨型西洋棋、粉紅色籃球場——以及熔岩的歡樂組合。

+ 這個「回到未來」音樂的重金屬版本是對電影經典主題曲的史詩級重塑。