這是我第一次遇到真實世界的 AI 輔助開發災難故事，而且是親身經歷。

我去看醫生時，一位友善的醫護人員接待了我。在熱情的歡迎之後，他們提到最近看了一段影片，說明現今任何人都可以輕鬆地使用 AI 來開發軟體。這激發了一個想法：為什麼要使用業界驗證過的解決方案，而不是自己建立一個病患管理系統呢？

於是，他們就這樣做了。他們啟動了一個程式碼代理（coding agent），建立了一個客製化的病患管理應用程式，將所有現有的病患資料匯入其中，並將其發布到網際網路上。他們甚至還加入了一項功能，可以在看診期間錄製對話，並將音訊傳送給兩個 AI 服務進行自動摘要。從此告別手動筆記。

所有可能出錯的地方，都出錯了。

幾天後，我開始研究這個應用程式。不到三十分鐘，我就取得了所有病患資料的完整讀取和寫入權限。所有資料都未經加密，完全暴露在網際網路上。我的第一步是立即通知對方。我收到的回覆是 100% 由 AI 生成的，感謝我回報問題，並向我保證他們已立即採取行動，加入了基本的身份驗證並輪替了一些存取金鑰。

這個人完全不知道他們建立的系統是什麼，也不知道可能造成的後果。這些資料不僅大開方便之門，還儲存在未簽署資料處理協議的美國伺服器上，語音錄音被傳送給主要的美國 AI 公司，而且我從未被告知這些事情正在發生。病患資料絕不能這樣處理。他們幾乎肯定違反了多項《聯邦數據保護法》（nDSG）的規定，甚至可能違反了職業保密法（Berufsgeheimnis），儘管我不是律師。

整個應用程式是一個單一的 HTML 檔案，所有的 JavaScript、CSS 和結構都內嵌其中。後端是一個受管理的資料庫服務，沒有設定任何存取控制，沒有行級安全，什麼都沒有。所有的「存取控制」邏輯都存在於客戶端的 JavaScript 中，這意味著任何查看程式碼的人，都可以輕易地透過一個 `curl` 指令取得資料。

所有的語音錄音都直接傳送給外部 AI API 進行轉錄和摘要。

還有更多問題，但這已經足夠讓人理解情況了。

這不是我期待的 AI 未來。我個人也在使用 AI 程式碼代理，但我能夠理解正在發生的事情，可以閱讀程式碼並對軟體架構有所了解。那些只是隨意使用 AI 的人，顯然無法帶給我們一個美好的未來。