科學家希望這項技術能用來重建一個人的內心想法、心理影像,甚至是夢境。
一種新的人工智慧工具能僅透過分析你的腦部掃描,就猜測你正在看什麼,並以驚人的精確度重建該影像。它也能反向運作,根據你所看的影像預測你的腦部活動。
例如上圖中,每對影像左側是使用者實際看到的畫面,右側則是模型根據腦部掃描重建出的影像。
以色列雷霍沃特魏茲曼科學研究所的Michal Irani與同事共同開發此工具,她希望這個「讀心」工具最終能揭示更多大腦運作的秘密,並可能用來幫助無法動彈的人溝通,或讓科學家重現夢境內容。
加拿大英屬哥倫比亞大學神經倫理學家暨神經學教授Judy Illes未參與此研究,她形容這項工作「非常出色」。「用這種方法幫助神經疾病患者……在治療上令人非常振奮。」
但其他科學家警告,類似技術可能被用來在未經同意的情況下揭露人們的內心想法與心理影像。加州大學聖塔芭芭拉分校神經科學家Tommy Sprague說:「結果看起來非常令人印象深刻,但如果有人能偷偷擷取你在想什麼的資訊,那麼150年來的科幻小說情節隨時可能成真,這在很多方面都令人擔憂。」
神經科學家多年來一直致力於重建人們所見及腦中所想的影像。最初的嘗試產生的影像模糊難辨。隨著技術進步——無論是功能性磁振造影(fMRI)掃描本身,或是用來解析結果的工具——影像品質逐年提升。
Irani與同事起初分析公開的腦部掃描資料。其他研究者曾收集志願者在fMRI掃描儀中觀看數百張影像時的掃描資料。
fMRI利用強大磁場追蹤大腦中含氧血液的流動。fMRI掃描中「亮起」的腦區被認為是當下特別活躍的區域。這些區域並不特別精細——在典型fMRI掃描中,每個亮點(體素)約覆蓋三立方毫米,包含約1.6萬個神經元。
但Irani與同事使用了解析度更高的掃描資料,每個體素約覆蓋一立方毫米神經元。這些資料顯示志願者觀看不同影像時的大腦活動。
其他團隊也做過類似研究,並使用多種工具根據腦掃描資料重建影像,但Irani表示這些工具仍不夠好。舉例來說,若一個人看到香蕉,這些模型能生成香蕉的影像,但外觀會不同,「結構、位置都不一樣」。
團隊希望更精確地重建所見影像。第一步是用八位受試者的公開資料訓練AI模型,這些受試者在高解析度fMRI掃描儀中各觀看約9000張影像。
關鍵是他們的「腦解碼器」有兩個分支——一個預測影像結構(例如顏色分布),另一個預測內容(例如盤子上的一串香蕉)。這些預測讓擴散模型(一種透過逐步清理雜訊像素來創造影像與影片的AI)能產生更準確的重建影像。
但要提升模型,他們需要更多資料,遠超現有數量。
為解決此問題,他們訓練另一個模型反向運作——一個編碼器能根據影像預測腦部活動。團隊將編碼器與解碼器結合,互相提升效能。
運作方式是:先給定一張新影像(如豹),用編碼器預測觀看該影像時的fMRI掃描,再用解碼器重建影像。起初重建影像可能與豹相差甚遠,但反覆訓練後,效果大幅提升。
這種方法讓團隊能用大量未曾在fMRI掃描中展示過的影像訓練模型。Irani表示約70%的訓練資料是未與fMRI掃描配對的影像。
透過整合多項研究資料,他們還能辨識出似乎在所有人間共享功能的腦區。例如有區域對食物影像有反應,另一區域則對運動影像有反應。Irani表示,她正與神經科學家合作,嘗試用這些工具發掘大腦的新知。
他們開發的「通用腦編碼器」能在新受試者的掃描資料上快速運作,只需極少校正。其他工具通常需約40小時fMRI資料才能用於預測新受試者所見影像,而Irani的解碼器只需一小時資料。此成果於上月紐約認知計算神經科學會議發表。
Sprague表示,這對神經科學家研究大腦非常有價值。「沒有人能負擔得起為新受試者做40小時掃描,費用約每小時600至1000美元。」他說,這類工具能加速研究進程。
編碼器與解碼器尚非完美。Irani說:「當然會有失誤。」她在Zoom通話中指出,一張蛋糕影像被工具重建成三個三明治堆疊,另一張浴缸中狗的影像被重建成顏色相似的山羊。
但這代表目前技術的最先進水平。比較測試中,該工具明顯優於先前描述的模型。Irani說:「總體來說,我們大幅超越其他模型。」她補充,「讀心」只是他們工作的「可愛、炫酷」名稱。
Irani計畫將研究擴展到影片與音訊,期望能重建人們的思考與想像內容,以及夢境。「這是我們尚未達成的目標,但正努力實現。」
她說,這種工具也可能幫助完全癱瘓的「鎖定症」患者僅用腦部活動溝通,並協助科學家解開心靈運作的持續謎團,如創傷後壓力症候群(PTSD)閃回的影像。
此類進展不可避免引發心理隱私問題。若有不法分子能重建個人心理影像,重播其思緒或所見,將帶來何種風險?
Sprague說:「十年前若有人問我,我會大笑。」讓人靜止於掃描儀中並積極配合研究已不易,更別說在未經同意下進行。但Irani與其他科學家正研究類似方法,嘗試從腦電圖(EEG)——透過電極帽或耳機收集的腦電活動——解碼腦部訊號。
隨著模型改進,分析此類腦電活動將更簡便。Sprague說:「我們必須更嚴肅看待倫理考量。」他認為Irani的方法很可能能準確預測人們思考但未注視的影像。
德國慕尼黑工業大學神經科學家暨哲學家Marcello Ienca表示,轉向EEG將是「遊戲規則改變者」。一旦EEG裝置校準完成,企業可能相對容易從使用者腦中提取更多資訊,甚至未經同意。Ienca也能想像某些法院會允許心理影像重建作為法律證據。
他說:「我毫不懷疑這是善意的研究,但也很明顯它可能被用於倫理與社會問題重大的商業用途。」
Irani承認EEG可能被濫用的風險,但目前不擔心,「我只想著好的方面。」


