在您的手機或 Mac 上進行聊天、生成圖像、使用工具、觀看和聆聽。全部離線運行。零數據離開您的裝置。

具備語音、個人化風格和行動能力。終身授權 $69,或每年 $49。

Pro 是可選的增值方案。它賦予助理一個能回話的語音、您可以塑造的個人化風格,以及用於草擬您批准的實際行動的工具。一個授權涵蓋您的手機和 Mac。全部在裝置上運行。

→ 取得 Pro 授權 - 一次性付費 $69 永久擁有(價格隨加入人數增加而上漲,永不下跌),或每年 $49。

搭配您的 Mac 上的 Off Grid AI Desktop 使用。一個 Pro 授權涵蓋兩者。

大多數「本地 LLM」應用程式只提供一個文字聊天機器人就結束了。Off Grid AI 是一個完整的離線 AI 套件 — 文字生成、圖像生成、視覺 AI、語音轉錄、工具調用和文件分析,全部原生運行在您手機或 Mac 的硬體上。

文字生成 — 運行 Qwen 3、Llama 3.2、Gemma 3、Phi-4,以及任何 GGUF 模型。串流回應、思考模式、Markdown 渲染,在旗艦裝置上可達 15-30 token/秒。您也可以匯入自己的 .gguf 檔案。

GPU 與 NPU 加速 — 您的手機有閒置的晶片。Off Grid 會加以利用。透過 OpenCL 的 Adreno GPU 在 Snapdragon 8 Gen 2+ 上可達 20-40 token/秒,相較於 CPU 的 15-30 token/秒;Apple Silicon 使用 Metal。該應用程式會偵測您的裝置擁有的硬體,並預設使用最快的可用後端,您也可以在設定中覆蓋。

Snapdragon 上的 Hexagon NPU 也在其中,但標記為實驗性,因為它僅加速 Q4_0 和 Q8_0 量化模型,K-quant 會靜默回退到 CPU,且某些模型架構在其上會產生亂碼。實際上能使用 GPU 或 NPU 的模型會在模型列表中標記,因此您可以在下載 4GB 模型前選擇正確的量化版本。

遠端 LLM 伺服器 — 連接您本地網路上的任何 OpenAI 相容伺服器(Ollama、LM Studio、LocalAI)。自動發現模型,透過 SSE 串流回應,安全地將 API 金鑰儲存在系統鑰匙圈中。在本地和遠端模型之間無縫切換。

工具調用 — 支援函數調用的模型可以使用內建工具:網路搜尋、計算機、日期/時間、裝置資訊和知識庫搜尋。具備自動工具迴圈和防止失控機制。搜尋結果中的可點擊連結。

專案知識庫 — 將 PDF 和文字文件上傳到專案的知識庫。文件會被分塊、在裝置上使用內建的 MiniLM 模型進行嵌入,並透過餘弦相似度檢索 — 所有資料都儲存在 SQLite 中。search_knowledge_base 工具在專案對話中自動可用。

圖像生成 — 在裝置上運行 Stable Diffusion,具備即時預覽。Snapdragon 上有 NPU 加速(每張圖像 5-10 秒),iOS 上有 Core ML。支援 20 多種模型,包括 Absolute Reality、DreamShaper、Anything V5。

視覺 AI — 將您的相機對準任何物體並提問。SmolVLM、Qwen3-VL、Gemma 3n — 分析文件、描述場景、讀取收據。在旗艦裝置上約需 7 秒。

語音輸入 — 在裝置上運行 Whisper 語音轉文字。長按錄音,自動轉錄。音訊永不離開您的手機。

文件分析 — 將 PDF、程式碼檔案、CSV 等附加到您的對話中。在兩個平台上都支援原生 PDF 文字提取。

AI 提示增強 — 輸入簡單提示,輸出詳細的 Stable Diffusion 提示。您的文字模型會自動增強圖像生成提示。

可見且可控的記憶體 — 手機的 RAM 有限,4GB 的模型不會禮貌地分享。模型管理器會顯示目前載入的模型以及每個模型佔用的 RAM,並提供按模型卸載的功能。模型載入策略:Lean 模式一次只保留一個模型在記憶體中,Balanced 模式會共存適合的模型並替換不適合的,Aggressive 模式則會分配更多 RAM 以載入更大的模型。如果載入被拒絕,Load Anyway 會強制執行 — 您的裝置,您的決定。當模型在對話中被逐出時,聊天會告知並提供重新載入的選項,而不是靜默失敗。

下載管理器 — 同時進行三個下載,其餘按 FIFO 佇列,顯示為「Queued」而非靜默停滯。支援暫停、恢復、重試、取消。下載可在應用程式背景運行時繼續。

已在 Snapdragon 8 Gen 2/3、Apple A17 Pro 上測試。結果因模型大小和量化而異。

或從 GitHub Releases 下載最新的 APK。

macOS:iOS App Store 版本透過 Mac Catalyst / iPad 相容性原生運行在 Apple Silicon Mac 上。

需要 Node.js 20+、JDK 17 / Android SDK 36(Android)、Xcode 15+(iOS)。請參閱完整的建置指南。

每次 PR 在三個平台上都會進行測試:

此專案透過 BrowserStack 進行測試。

加入 Slack 上的對話 — 提問、分享意見,並與其他 Off Grid AI 使用者和貢獻者交流。

歡迎貢獻!Fork、branch、PR。請參閱開發指南了解程式碼風格和程式碼庫指南了解模式。

站在巨人的肩膀上建構:llama.cpp | whisper.cpp | llama.rn | whisper.rn | local-dream | ml-stable-diffusion | MNN | Hugging Face

Off Grid AI — 您的 AI,您的裝置,您的資料。

沒有雲端。沒有數據收集。只有隨處可用的 AI。

離線 AI 的瑞士刀。在您的手機或 Mac 上聊天、觀看、說話和生成圖像 — GGUF LLMs、視覺、Whisper 語音轉文字、Stable Diffusion、工具調用和本地網路伺服器。運行在您的 CPU、GPU 或 NPU 上。無帳戶、無 API 金鑰,零數據離開您的裝置。