SALOMI 是一個研究儲存庫,專注於極致低位元 Transformer 的量化與推論,特別是二進位或接近二進位的權重表示法,能否在實際評估中達到或超越三元基線。

請參閱 CURRENT_STATE.md 以了解完整的功能運作與問題分析,以及 docs/VALIDATED_RESULTS.md 以獲得標準基準測試表格。

預期輸出:GPT-2 124M 的相關性與 PPL 表格,預計在 CPU 上約 5 分鐘內完成。請參閱 REPRODUCIBILITY.md 以取得完整的環境說明。

此儲存庫主要在離線的私人工作目錄中開發,之後才作為整合的研究快照發布。較低的公開提交次數反映了發布歷史,而非缺乏迭代。在先前聲明經過更嚴格評估後被修正的地方,這些修正已明確記錄在 docs/HONEST_ASSESSMENT.md、docs/VALIDATED_RESULTS.md 中,並在 RESEARCH.md 中進行了摘要與指引。

onebit/research/ 下的一些檔案名稱保留了時間順序,而非理想的分類法。像 novel_ideas_v*.py 這樣的名稱是研究過程的一部分。請優先參考摘要文件與驗證過的測試路徑,而非歷史實驗檔案名稱。