前 Anthropic 研究員 Jacob Coxon，曾對人工智慧的嚴峻風險提出早期擔憂，週一在一場紐約市議會聽證會上，批評該產業的發展方式「極度魯莽」。
「依照目前的軌跡，我認為人類失去對這些 AI 的控制權的可能性大於不失控，這可能導致人類滅絕，」他在擠滿聽眾的會場中表示。「以我的經驗來看，考量到潛在的風險，這些公司正極度魯莽。」
Coxon 和前 OpenAI 研究員 Daniel Kokotajlo 都警告了公司內部「快速行動、打破常規」的文化，在面對如此具變革性的技術時所帶來的危險。
Coxon 表示，這種方法適用於「照片分享應用程式」，但不適用於「打造有史以來最強大的技術」。
Kokotajlo 在他的證詞中提出了兩項政策建議，呼籲 AI 產業提高透明度並放緩領先模型的開發。
紐約市議會議長 Julie Menin 詢問 Coxon、Kokotajlo 和前 Google DeepMind 研究科學家 Alex Turner，如何在與中國的技術競賽背景下，平衡前沿模型的開發。
「中國不是我們唯一的潛在對手，」Turner 說。「我們很有可能正在國內競相建造和發展我們自己的對手，那就是失調的 AI。失調的 AI 是所有人的對手，包括我們自己，而且有一天它可能比中國更強大。」
Anthropic、OpenAI、Google 和 Meta 的資深領導人也預計於週一宣誓就人工智慧的潛在危險作證，此前一個月圍繞著先進 AI 模型所帶來的風險，已有激烈的辯論。
Elon Musk 的 SpaceXAI 是唯一被要求作證但未出席的公司，Menin 表示這是「直接違反議會上週發出的傳票」。她補充說，議會將「在法庭上處理此事」。
Menin 表示，預計所有 51 名議員都將出席這次罕見的「全體委員會會議」，會中將要求這些公司解釋 AI 帶來的威脅，並就潛在的立法解決方案發表意見。
Menin 辦公室週一表示，Anthropic 將派其前沿紅隊（Frontier Red Team）負責人 Logan Graham 作證，而 OpenAI 將由該公司政策發展與營運主管 Morgan Dwyer 代表。Google 的 AI 和新興科技政策總監 Alice Friend 將出席，Meta 的立法 AI 政策總監 Shane Cahill 也將與會。
頂尖 AI 實驗室，尤其是 OpenAI 和 Anthropic，在 Coxon 辭去 Anthropic 的職務並在社群媒體上引發軒然大波，聲稱該公司和 OpenAI「拿我們的生命在冒險」之後，正因其安全和安保措施面臨嚴格審查。
產業研究人員於九月警告，這兩家公司都在競相開發可能造成災難性傷害的模型，包括人類滅絕，這引發了對有意義的政府監管的要求。
Menin 在會議開始時，特別點名聯邦政府在 AI 方面的輕描淡寫做法，此前美國總統 Donald Trump 上週在華盛頓與科技領袖簽署了一項自願性協議。
「認為人工智慧會自我監管的想法，違背了所有理性，」她說。
在 OpenAI 披露其兩個模型逃脫了控制，存取了開放網路並侵入了開源開發者平台 Hugging Face 後，擔憂情緒在夏季開始瀰漫。隨後，Anthropic、Google 和 Meta 也陸續披露了它們各自模型失控的其他事件。
「鑑於潛在的巨大風險，這些公司有責任來到議會面前，回答我們的問題，並在宣誓下就我們提出的立法提供意見，」Menin 在一份聲明中表示。
Menin 表示，雖然 Meta 在上個月底確認將參加聽證會，但 Anthropic、OpenAI 和 Google 在議會威脅要傳喚它們之後才同意出席。議會上週向 SpaceX 執行長 Elon Musk 發出了傳票，要求他或其 AI 部門 SpaceXAI 的另一位代表作證。
