我們正在 API 中推出三款音訊模型，為開發者解鎖一類全新的語音應用程式。藉由這些模型，開發者可以建構感覺更自然、回應更智慧，並能即時採取行動的語音體驗。

語音正成為人們使用軟體最自然的方式之一。它能讓使用者在開車時尋求協助，在機場行走時更改旅遊計畫，以偏好的語言獲得支援，或是在不停止打字的情況下完成任務。

然而，建構有用的語音產品，需要的遠不止快速的輪流對話或聽起來自然的語音。語音代理需要理解使用者的意圖，追蹤上下文，在請求變更時恢復，在對話持續進行時使用工具，並以符合當下情境的方式回應。

我們推出的這些模型共同將即時音訊從簡單的呼叫與回應，推向能夠實際執行的語音介面：在對話展開時進行聆聽、推理、翻譯、轉錄並採取行動。

隨著語音成為使用軟體更自然的方式，我們看到開發者圍繞著語音 AI 中三個新興模式進行建構：

這些模式也可以協同工作。Priceline 正在朝向一個未來努力，讓旅客能夠透過語音管理整個行程：以對話方式搜尋航班和飯店，處理變更，例如在班機延誤後調整飯店預訂，或取得 TSA 等候時間的即時更新，並在旅客抵達當地後翻譯對話。

GPT‑Realtime‑2 專為即時語音互動而設計，模型在推理請求、呼叫工具、處理更正或中斷，以及以符合當下情境的方式回應時，能讓對話持續進行。

在音訊評估中顯示的進展，與實際的語音代理非常接近：GPT‑Realtime‑2 (high) 在 Big Bench Audio 的音訊智慧評估中，比 GPT‑Realtime‑1.5 高出 15.2%。GPT‑Realtime‑2 (xhigh) 在 Audio MultiChallenge 的指令遵循評估中高出 13.8%，相較於 GPT‑Realtime‑1.5 有所改進，並在即時對話中展現出更強的推理、上下文管理和控制能力。

Big Bench Audio 評估支援音訊輸入的語言模型的挑戰性推理能力。Audio MultiChallenge (開啟新視窗) 評估語音對話系統的多輪對話智慧，包括指令遵循、上下文整合、自我一致性以及處理自然語音更正。

GPT‑Realtime‑2 的魔力體現在各種不同的使用案例中：

在早期測試期間，企業使用 GPT‑Realtime‑2 建構語音代理，透過自然對話協助客戶和員工完成工作：

GPT‑Realtime‑Translate 協助開發者建構即時多語言語音體驗，讓每個人都能以偏好的語言交談，並即時聽到對話翻譯和閱讀即時轉錄稿。它支援超過 70 種輸入語言和 13 種輸出語言，使其適用於客戶支援、跨境銷售、教育、活動、媒體和服務全球受眾的創作者平台。

對開發者而言，即時翻譯需要在保持與說話者同步的同時保留語意，即使人們以自然的方式說話、切換上下文，或使用地區性發音和領域特定語言。

例如，德國電信正在測試該模型用於多語言語音互動，其中較低的延遲和更強的流暢度可以讓跨語言對話感覺更自然。

在此影片中，Vimeo 展示了 GPT‑Realtime‑Translate 如何在產品教育影片播放時進行即時翻譯，讓全球客戶無需等待單獨製作的版本，即可聽到他們偏好的語言更新。

GPT‑Realtime‑Whisper 是一款專為低延遲語音轉文字而建構的新型串流轉錄模型。它能在人們說話時進行音訊轉錄，讓即時產品感覺更快、更具回應性且更自然——從即時出現的字幕，到跟上對話進度的會議記錄。

該模型使得即時語音能在企業工作流程中即時使用。團隊可以為會議、教室、廣播和活動提供字幕；在對話進行中生成記錄和摘要；建構需要持續理解使用者的語音代理；並為客戶支援、醫療保健、銷售、招聘和其他高流量語音互動建立更快的後續工作流程。

Realtime API 整合了多層安全防護和緩解措施，以防止濫用。我們對 Realtime API 會話使用主動分類器，這意味著如果偵測到某些對話違反我們的有害內容準則，則可以終止這些對話。開發者也可以使用 Agents SDK 輕鬆添加自己的額外安全防護措施。

我們的使用政策禁止將我們服務的輸出用於垃圾訊息、欺騙或其他有害目的進行再利用或分發。開發者還必須向最終使用者清楚說明他們正在與 AI 互動，除非從上下文中已經顯而易見。

Realtime API 完全支援歐盟境內應用程式的歐盟資料保留政策，並涵蓋在我們的企業隱私承諾中。

GPT‑Realtime‑2、GPT‑Realtime‑Translate 和 GPT‑Realtime‑Whisper 已在 Realtime API 中提供。GPT‑Realtime‑2 的定價為每 100 萬個音訊輸入 token 32 美元（快取輸入 token 為 0.40 美元），每 100 萬個音訊輸出 token 為 64 美元。GPT‑Realtime‑Translate 的定價為每分鐘 0.034 美元。GPT‑Realtime‑Whisper 的定價為每分鐘 0.017 美元。

您可以在 Playground (開啟新視窗) 中測試新的即時語音模型。

若要開始建構，請在 Codex 中開啟此提示，將 GPT‑Realtime‑2 添加到現有應用程式或開始一個新應用程式。如果您還沒有 Codex，請先下載 Codex 應用程式。