字節跳動旗下豆包大模型團隊近日宣布，成功攻克混合專家模型(MoE)架構的關鍵瓶頸，并開源一項名為COMET的重大優化技術。該技術顯著提升了大模型的訓練效率，實現了高達1.7倍的效率提升，并有效降低了40%的訓練成本。

　　據介紹，COMET技術已在字節跳動的萬卡集群訓練中得到實際應用，累計節省了數百萬GPU小時的訓練算力。與近期DeepSeek開源的DualPipe等MoE優化方案相比，COMET具有更強的兼容性和便捷性，能夠像插件一樣直接接入現有的MoE訓練框架，支持業界主流大模型，無需對訓練框架進行侵入式修改。

　　技術數據顯示，引入COMET后，單個MoE層可實現1.96倍的加速，端到端平均效率提升1.71倍，且在不同并行策略、輸入規模及硬件環境下均表現出穩定的性能。更值得關注的是，COMET還能夠與DeepSeek的DualPipe方案聯合使用，有望進一步大幅壓縮模型訓練成本。

　　這項技術的開源，無疑為大模型領域帶來了新的突破，有望加速大模型的研發和應用。