在此分享我對 ROCm 和 Strix Halo 的初體驗，以及我如何設定好一切。

CPU 與 GPU 高效共享 128GB 記憶體。

我習慣使用 Ubuntu，因此我選擇了支援的 24.04 LTS 版本，並遵循了官方的安裝說明。

看來沒有 BIOS 更新的話，事情是無法順利進行的：PyTorch 無法找到 GPU。這在 BIOS 設定中很容易完成：它能夠連上我的 Wi-Fi 網路並自動下載更新。

同樣在 BIOS 設定中，你可能需要確保將保留的視訊記憶體設定為較低的值，並讓記憶體透過 GTT 在 CPU 和 GPU 之間共享。保留的記憶體最低可以是 512 MB。

然後在 /etc/default/grub 中，我做了這個修改：

請注意，amdgpu.gttsize 不應包含整個系統記憶體；為了 Linux 核心的穩定性，你應該保留一些記憶體（我看到有人建議 4 GB 到 12 GB）給 CPU 使用（總記憶體減去保留的 GPU 記憶體減去 GTT）。

由於 PyTorch 奇怪的依賴關係圖，這有點棘手，但最終我成功讓它運行起來了，使用：

你甚至可以將此加入你的 .bashrc：

請注意，你可以輕鬆下載模型：

並使用 llama.cpp 儲存庫中的 convert_hf_to_gguf.py 腳本將其轉換為 gguf：

我使用 Podman 來運行 Opencode；請參閱我的儲存庫了解如何設定。

這是我的設定，讓它能與 Llama.cpp 一起工作：

所以，正如我所承諾的，我的初體驗是：到目前為止，一切都很好。我能夠使用 PyTorch 並在 llama.cpp 上運行 Qwen3.6，並支援大型上下文視窗。雖然有些地方不太順暢，但我認為這相當值得。