（ChinaZ.com）3月4日 消息:近期，清華大學和哈爾濱工業大學聯合發布了一篇論文，成功將大模型壓縮到1bit，仍保持83% 的性能。這一成果標志著量化模型領域的一次重大突破。過去，2bit 以下的量化一直是研究人員難以逾越的障礙，而這次的1bit 量化嘗試，引起了國內外學術界的廣泛關注。

　　這項研究提出的 OneBit 方法，首次嘗試將預訓練大模型壓縮到真正的1bit。通過全新的1bit 層結構、基于 SVID 的參數初始化和量化感知訓練，成功將大模型參數壓縮到1bit 表示。該方法不僅保留了模型的高精度和高秩，還能夠在極大幅度壓縮模型參數的同時，保證模型至少83% 的性能。

　　OneBit 方法的核心在于將權重矩陣壓縮到1bit，并引入兩個 FP16格式的值向量以彌補精度損失。通過新的參數初始化方法 SVID 和知識遷移，成功將高精度預訓練模型的能力轉移到1bit 量化模型上。實驗結果表明，OneBit 方法相較于其他2bit 量化方法，在驗證集困惑度和 Zero-shot 準確度上表現更為優秀。

　　該研究的意義在于，成功突破了2bit 量化的障礙，為在 PC 和智能手機上部署大模型提供了新的可能性。未來，隨著技術的不斷進步，將有望實現將大型語言模型等大模型壓縮到極低位寬，并實現在移動設備上高效運行的愿景。