我發現,導致我被懷疑竊盜汽車而被拘留的事件,並非單純的「完美風暴」,而是人為錯誤、Flock AI 系統的限制以及整體監管機制缺乏的清晰結合。這種情況已經發生、可能發生,並且在 Flock 和執法單位做出大規模改變之前,將會持續發生,因為他們似乎都不確曉如何有效協作以避免此類事件。事實上,類似事件又發生了。
同時,我們的報導已經促使我居住地,也是事件發生地的明尼蘇達州普利茅斯市議會,開始討論在該市使用 Flock 攝影機的議題。普利茅斯警察局在其 Flock 系統中設有透明度入口網站,顯示該市目前有 18 個攝影機,過去 30 天內已讀取超過 580,000 個車牌,其中有超過 14,800 次「熱點」命中(我就是其中之一),以及 45 次手動搜尋。
簡而言之,幾週前,我開著我正在測試的、價值 155,000 美元的 Range Rover,與妻子在明尼蘇達州普利茅斯市處理一些雜事。當我從當地 Kohl's 賣場前的停車位倒車出來時,四輛警車呼嘯而至,並如警方報告所述,「對車輛進行了包圍和鎖定」。員警手持槍械,命令我們下車,對我們進行搜身,並最終告知我們,這輛 Range Rover 的車牌——新澤西州 34 10 DTM —已被報失竊,他們懷疑車輛本身也遭竊,並且他們利用 Flock 攝影機追蹤了我兩天。
Jaguar Land Rover 借給記者一輛掛失竊車牌的車輛來進行評測,這聽起來不太可能,但我知道這絕非事實,但員警卻深信不疑。在他們扣留我們期間,我打了幾通電話給 JLR 及其車隊管理公司,隨後又與普利茅斯警長進行了訪談,才得知事情的真相。
一個類似的新澤西州製造商車牌——34 03 DTM —曾在加州被報失竊(後來我得知,實際上是 Land Rover 在一次攝影活動中遺失的)。那個「失竊」車牌被輸入國家犯罪資訊中心(NCIC)資料庫時,省略了中間兩個較小的數字。只輸入了 34 DTM 。
Flock 使用 NCIC 資料來標記可疑車牌,當它看到我的車牌時,其 AI 視覺系統忽略了我車牌中間的「10」,並向警方發出警報,稱發現匹配。
最終,當警方收到警報並看到 Flock 拍攝的車牌照片(其中 10 是可見的)時,他們沒有將完整的 34 10 DTM 輸入系統進行驗證。無論是人類還是機器,都鎖定在 34 DTM 上。我猜這就是所謂的「目標固定」。糟糕。
整個過程如此荒謬,我最初稱之為 Flock AI 攝影機網路無法處理的「極端案例中的極端案例」,但它又發生了。
週三,汽車記者 Tim Esterdahl,也是 Pickup Truck + SUV Talk 的發行人,在內布拉斯加州斯科茨布拉夫市開著 JLR 借給他評測的、價值 105,000 美元的 Range Rover Sport,載著他 14 歲的孩子時,被兩名員警攔下。車牌是什麼?沒錯:新澤西州 34 08 DTM 。
領隊員警告知他,車輛上的車牌已被報失竊。Esterdahl 看過我們的報導後,將報導展示給員警,希望能證明他不是竊盜集團的首腦。他說員警反應冷靜,沒有搜身,也沒有將手放在槍上,大約一小時後,他也獲釋了。但值得注意的是,攔截我的員警曾預測過這種情況會發生——任何掛有 34 ## DTM 車牌序列的新澤西州車輛,都會持續被 Flock 標記,因為這正是它在追蹤的目標。
Jaguar Land Rover 有許多車輛使用 34 ## DTM 車牌序列,作為借給記者、經銷商或其他公司用途的車輛。Flock 的發言人告訴我,公司一直在嘗試更換這些車牌,並修正加州的原始報案記錄。但對 Esterdahl 來說,這還來不及。
在發布第一篇報導之前,我沒有聯繫 Flock,因為發布我的親身經歷並非必要——員警實際上在手機上向我展示了 Flock 應用程式,並解釋了他們如何使用它。但在我們發布報導後,我從一位內部人士那裡得知,Flock 對引起關注感到非常擔憂,最終,我與 Flock 的首席傳播官 Joshua Thomas 進行了多次通話。
Thomas 告訴我:「我只是想告訴你,我的意圖並不是要爭取報導或為系統辯護,而是真心想了解你所經歷的事情。我很想聽聽你的觀點。你對這件事似乎很理性。」
顯而易見的問題是,Flock 攝影機正在尋找 34 DTM,而我駕駛的車輛車牌是 34 10 DTM。為什麼會被標記為匹配?
Thomas 說:「機器學習(ML)的工作方式是,它正確讀取了它應該讀取的內容。它接收到你說的那些字元,34 DTM,然後它回傳了 34 DTM 的字元結果。它被問到,你能找到這個嗎?它找到了。它只是沒有說,這裡還有更多,所以不要做。它只是簡單地說,它在那裡嗎?答案是肯定的。」
他解釋說,即使 10 是正常大小,Flock 仍然會將其標記為匹配,因為這是根據執法單位的要求設置的。有時,部分車牌是他們最初僅有的線索。
他說:「執法單位喜歡使用這些工具的方式是,如果他們放入熱點清單中的任何字元被讀取到,他們就想收到警報。現在,我們試圖訓練員警去做你說的,也就是驗證 34 DTM 是我正在尋找的,而我看到的是 34 10 DTM。」
顯然,在我的案例中,這並沒有發生。但確實,如果員警採取了這一步驟,他們(很可能)就不會如此積極地追捕我,甚至根本不會追捕我,整個事件本可以避免。但主要問題仍然是,為什麼 Flock 的系統沒有一種方法來區分部分讀取和完整讀取,並相應地向警方發出警報。
Thomas 說:「我認為你是對的。我認為你說的關於任何自動警報,而不是由個別機構設定的自訂警報,而是進入 NCIC 的內容,我們的機器學習應該去查看:這是一個完美的匹配,還是僅僅是『在那裡』?我的意思是,這是合理的建議,我應該帶回給我的團隊,看看我們能做些什麼。」
Thomas 解釋了 Flock 在此事件後採取的一些措施,包括嘗試修正原始報案記錄,並與負責管理 NCIC 資料庫的 FBI 人員會面,以建立一種方法,讓員警在第一線看到螢幕上閃爍的自動警報時,能夠快速且明顯地將錯誤或不完整數據標記出來。同時,Thomas 一再強調,Flock 的系統依賴於有效的數據輸入和人工審核輸出。
他說:「是人將這個輸入到系統中。而人沒有將足夠的資訊輸入系統。系統進行了讀取。結果出現了問題。但導致這個結果的過程充滿了人為錯誤。」
雖然我們最初報導稱,輸入 NCIC 的錯誤或不完整車牌號碼來自洛杉磯警察局,但 LAPD 後來告訴我們,實際上是洛杉磯縣警長辦公室的某人所為,而 LASD 並未回覆我們的評論請求。這說明了確保像 Flock 這樣的系統數據始終乾淨是多麼困難和混亂——它需要更強的內部監管機制。
我和我妻子遇到的情況只是眾多類似事件中的一個。Thomas 指出,該系統目前的準確率為 99%,但每月處理 200 億次讀取。1% 的錯誤率,其中我在 6 月份就是其中之一,相當於每月有兩億次誤讀。有多少會導致激烈的攔截,使平民和員警陷入危險境地?我們不知道。
但 Thomas 表明,Flock 的立場是,來自其攝影機的警報「不等於可能原因。它就像警報響起一樣,並不意味著一定有什麼東西在那裡。」他們相信他們為執法單位提供了一個有價值的工具,可以使社區更安全。如何正確使用它,則取決於執法單位。這與 ChatGPT 或 Anthropic 等公司在 AI 安全方面的立場類似。他們自豪地製造了他們聲稱足以改變世界的 LLM,但如何不將其用於毀滅世界,則取決於我們。他們只是製造了這個東西。
我最後一次(目前為止)的接觸是與普利茅斯警長 Erik Fadden 進行了一次坦誠的談話,他承認他的員警沒有處理好,但對於任何系統,無論是人為還是其他,都無法始終 100% 正確,這並非現實的期望。
他說:「一切都歸結於人們有時會犯錯。所以這是我們永遠無法完全消除的人為因素。在這個案例中,我們還有一個非常獨特且不常見的車牌格式。」
Fadden 警長指出,全國有超過 8,000 種不同的車牌格式,不能期望一名員警熟悉所有格式。如果一名員警看到 Range Rover 的車牌,忽略了 10,並在停車時將 34 DTM 輸入電腦,由於加州最初的錯誤,它就會被顯示為失竊,而無論 Flock 是否存在,結果可能都是一樣的。
Fadden 警長告訴我:「不幸的是,由於人為錯誤,這種事情經常發生,員警遇到被報失竊或被通緝的車輛。這就是為什麼我們必須驗證它們。我們必須檢查輸入機構,以確保車輛確實被通緝或車牌被盜。」
這次,車牌沒有被盜。Range Rover 也沒有被盜。我和我妻子也不是「被通緝者」。Esterdahl 的情況也是如此,誰知道有多少人被 Flock 攝影機的每月兩億次誤讀和員警的錯誤所困擾。技術發展如此之快,卻沒有完善的監管機制,它正在放大人的錯誤,而人在這個循環的前端、中端或後端都沒有捕捉到錯誤,至少在這個案例中是這樣,這可能導致有人受傷甚至死亡。
Thomas 同意並告訴我:「這對你來說是一件非常糟糕的事情。我真的很慶幸你的孩子當時不在車上。我很感激。」我敢打賭他確實如此。



