當建構流程完成時,您將獲得:
代理用來尋找合適零件和範例模型的工具,利用了 jev-rerank(我也是作者)。這是一個語意搜尋工具,具有由 TypeSafe 的 Jev System One AI 模型支援的重新排序功能。
使用 Docker 將 ldraw-nova 作為 Web 應用程式執行。您需要 Git 和 Docker。
此 Web 應用程式將以 Docker 容器形式執行,要建置 Docker 映像檔,需要兩個相關的儲存庫:
1. 將兩個儲存庫克隆到旁邊,並使用相同的標籤,以便它們協同工作:
2. 建置 Docker 映像檔。第一次建置需要一些時間,並需要大約 5 GB 的磁碟空間:
您網路上的其他裝置可以透過您電腦的 IP 位址而非 localhost 存取應用程式,例如從 Quest 3 存取 `https://192.168.1.20:8443`。該應用程式沒有登入功能,因此請僅在您信任的網路中執行。
總結來說:我這樣做是為了讓代理式 LLM 能夠設計可實際建造的實體物品!
找到 LDraw,一種組裝語言(雙關語!😜),它同時簡單、低階且可執行,能夠產生 3D CAD 模型,這讓我產生了實驗 ChatGPT 和 Claude 的想法,試圖讓它們像編寫其他程式語言一樣編寫 LDraw。
令我驚訝的是,儘管這種語言高度關注數學(零件位置、定位...),而 LLM 通常在這方面表現不佳,但代理在初步測試中表現相當不錯,後續專案也取得了良好的結果,但始終不足以認為生成的模型是正確的:
這三個嘗試,以及一些其他實驗,讓我得出了以下結論:
💡 結論 1:代理在幾何數學上存在一個最小阻力路徑,即:
然後,唯一剩下的就是 🤔 創建一個基於 Python 的工具組,其中包含所需的原始物件、動詞、建構詞彙...,以便代理能夠透過範例學習並自行執行類似的操作。
即使透過「vibe coding」方式,也很難正確實現,直到 GPT-6 Astra 和 Claude Opus 5.5 出現... 並成功地「vibe-coded」出來!🚀🚀🚀
ldraw-nova 提供了代理設計真實 LDraw 模型所需的工具、範例和說明。
提供的工具組有助於代理:
代理實際上不會從放置零件開始,除非是像原型製作和透過修改現有範例模型進行學習等情況。
它產生模型的方式更像是:
以下是一些提供給代理的指南和參考資料,以使其成為建構者:
由於這是第一個版本,還有許多地方需要進一步完善:
... 感謝所有其他的 LDraw 創作者!
注意:為完成這項工作,我使用了來自許多來源的 LDraw 模型、函式庫、工具、文件...。
有許多優秀的人們慷慨地貢獻了他們的最佳作品給公共領域和開源社群,甚至數十年來。
如果您認為自己應該被包含在此部分,請給我發送電子郵件!
LEGO(R) 是 LEGO 集團的商標,該集團不贊助、授權或認可此軟體。
用於生成式樂高模型建構的代理工具,建置於 Astra 和 Opus 5.5,由 Jev 提供支援