近日，字節跳動近期開源了一項代號為OMGD的壓縮技術。這是字節自研的GAN(生成對抗網絡)壓縮算法，在保證生成效果不變的前提下，算力消耗最低可以減少到原來的1/46，相比之前業界的最佳壓縮效果提升一倍多。據悉，這項技術的論文已入選國際計算機視覺會議ICCV 2021。

　　圖：字節跳動技術團隊發表的自研GAN壓縮算法論文

　　GAN是人工智能領域重要的深度學習模型，在圖像生成、音樂生成和視頻生成等方面應用廣泛，還可以提高圖像質量，實現圖像風格化、圖像著色等任務。漫畫特效等人們常用的短視頻道具，就是通過GAN實現的。

　　由于GAN對計算資源和存儲空間的需求巨大，模型難以直接部署到手機、Pad等移動設備上，業界一直在努力改進GAN的壓縮方法。2020年，麻省理工學院、Adobe和上海交通大學的研究者們提出一種GAN壓縮算法，將算力消耗成功減少到1/21。此次字節跳動提出的OMGD方法則進一步提升了壓縮能力。

　　OMGD(Online Multi-Granularity Distillation)意為“在線多粒度蒸餾”。據字節跳動技術團隊的論文顯示，該算法能靈活地在訓練過程中優化并壓縮GAN模型，從而實現更好的圖像效果和更少的計算成本。

　　測試數據表明，OMGD壓縮算法對Pix2Pix和CycleGAN這兩種常用的GAN解決方案效果顯著。Pix2Pix和CycleGAN主要應用于圖像到圖像的“翻譯”，比如將照片轉換為繪畫，對黑白圖片著色等。OMGD壓縮算法可使其算力消耗分別減少到原來的1/40和1/46。

　　目前，OMGD壓縮算法已在抖音等產品中落地，為用戶提供更豐富的視頻創作能力。相關技術代碼也已發布在開源社區，以幫助從業者提升GAN的創新和應用效率。迄今，字節跳動已開源了機器學習平臺Klever、聯邦學習平臺Fedlearner、高性能分布式訓練框架BytePS 、LightSeq推理和訓練引擎等重磅項目。

　　節能環保是字節跳動一個重要的技術研究方向。在不久前的自然語言處理領域國際頂會ACL 2021上，字節跳動的詞表學習方案獲得年度唯一的“最佳論文”大獎，該論文同樣極具節能價值，相比主流詞表可以節約92%的算力。