這一操作堪稱神來之筆，一舉多得：
信息密度拉滿：用
{±1, ±i} 四個值，徹底利用了2-bit的全部信息容量，信息熵從傳統三元量化(如BitNet b1.58)的log₂(3)≈1.58-bit，提升到滿格的log₂(4)=2-bit。
優雅的對稱性：這四個點在復平面上關于原點中心對稱，保持了模型訓練所需的良好性質。
隱含的稀疏性：每個量化后的復數權重，其實部或虛部必有一個為零，這在高維度上保留了稀疏性的優勢。
2. 驚艷的“無乘法”運算
最令人拍案叫絕的是，引入復數，計算仍然高效!一個標準的復數乘法 (a+ib)(c+id) 需要4次實數乘法和2次加法，計算量不小。
但在iFairy模型中，當一個復數激活值與量化后的權重 {±1, ±i} 相乘時，運算發生了奇妙的“退化”：所有乘法都消失了。
看!整個模型中最核心、最龐大的矩陣乘法(GEMM)，被徹底重構了!原本昂貴的浮點乘法運算，被完全替換為硬件成本幾乎為零的加法、減法和數據交換(shuffle)操作。這從根本上消除了計算瓶頸，為實現數量級的推理加速提供了可能。
三、架構革新：一個全面“復數化”的Transformer
為了讓這個魔法完美落地，研究團隊還將整個Transformer架構都進行了“復數化”改造。
復數注意力機制：傳統注意力計算Q和K的點積，這里則巧妙地使用了Hermitian內積的實部作為相似度分數，既利用了所有復數信息，又自然地得到了實數分數用于Softmax。
復數旋轉位置編碼(RoPE)：在復數域，位置編碼的旋轉操作變得異常簡潔和統一，一個簡單的復數乘法即可實現。
四、驚艷成果：PPL降低10%，性能反超全精度!
理論如此優雅，實踐效果如何呢?結果同樣令人矚目。
iFairy 不僅沒有出現超低比特量化常見的性能懸崖，反而實現了驚人的性能反超。
在LLM的語言建模能力方面，模型的困惑度(PPL)越低，代表模型對文本的理解和預測能力越強。在對PPL的測試中，基于相同數據集訓練(注：為保證對比的嚴謹性，所有對比模型的訓練數據均保持一致，具體信息可參見論文)的2-bit的iFairy 模型取得了比全精度(FP16)模型更低的困惑度(PPL)，降幅高達 10%。
而在下游任務評測方面，iFairy 模型更是在多個任務的評分反超了全精度的Llama基座模型。
這意味著，一個體積只有原來1/8、計算幾乎“零”乘法的模型，其能力反而更強了。這徹底顛覆了我們的傳統認知。
對量化后權重的分析還發現，模型在訓練后，這四個復數值 {±1, ±i} 的分布非常均勻，證明模型確實學會了充分利用這套全新的“編碼系統”。
總而言之，這項工作開創性地將復數神經網絡的思想與超低比特量化相結合，通過利用“相位”這一被忽略的信息維度，在不增加任何存儲成本的前提下，顯著提升了模型的表達能力和最終性能，真正實現了“魚與熊掌兼得”。
它為設計下一代超高效、高性能的大語言模型，打開了一扇全新的大門。或許，我們離在普通手機上流暢運行GPT-5級別的模型，又近了一步。 相關論文、訓練代碼、模型權重與實驗腳本已全部開源，配套提供從訓練、評測到可復現實驗的完整流程，人人皆可復現訓練。
文章內容僅供閱讀，不構成投資建議，請謹慎對待。投資者據此操作，風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評，目前站內累計模型數超過80萬個，涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景，基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告，2025年第二季度》顯示，上半年全球智能家居清潔機器人市場出貨1,2萬臺，同比增長33%，顯示出品類強勁的市場需求。
京公網安備 11010502041587號