Janus：一款 Go 語言編寫的 AI 模型 API 路由器，支援 Vulkan 模型運行

Janus 是一個單一的 Go 二進位檔，可在您的機器上（GPU 或 CPU）運行 .gguf 模型，並提供與 OpenAI 相容的 API。無需 Python、Docker 或 Ollama。

依照您的方式使用：從命令列（curl、PowerShell、腳本）呼叫它，或將其整合至 Cursor / Cline / 任何 OpenAI 客戶端 — 使用相同的本地模型，無論何種工作流程都適合您。

磁碟空間：為模型大小（每個模型通常 2–8 GB）加上 Janus + llama.dll 的約 50 MB 預留空間。

build.ps1 會下載預先建置好的 llama.cpp Vulkan DLL 並編譯 dist\janus.exe。

將 .gguf 檔案放入 models\ 資料夾。使用內建的下載器：

或從 Hugging Face 下載任何 GGUF。

在瀏覽器中開啟 http://127.0.0.1:8990。

在 Linux 上，您需要在二進位檔旁邊或 LD_LIBRARY_PATH 中放置 libllama.so。

或者直接執行 . un.ps1。若要進行包含 llama DLL 的完整建置，請執行 .uild.ps1。

歡迎貢獻 — 請參閱 CONTRIBUTING.md。

Janus 是一個用 Go 語言編寫的 AI 模型 API 路由器，並具備 Vulkan 模型運行器。