北大和字節聯手搞了個大的:

　　提出圖像生成新范式，從預測下一個token變成預測下一級分辨率，效果超越Sora核心組件Diffusion Transformer(DiT)。

　　并且代碼開源，短短幾天已經攬下1.3k標星，登上GitHub趨勢榜。

　　具體是個什么效果?

　　實驗數據上，這個名為VAR(Visual Autoregressive Modeling)的新方法不僅圖像生成質量超過DiT等傳統SOTA，推理速度也提高了20+倍。

　　這也是自回歸模型首次在圖像生成領域擊敗DiT。

　　直觀感受上，話不多說，直接看圖:

　　值得一提的是，研究人員還在VAR上，觀察到了大語言模型同款的Scaling Laws和零樣本任務泛化。

　　論文代碼上線，已經引發不少專業討論。

　　有網友表示有被驚到，頓時覺得其他擴散架構的論文有點索然無味。

　　還有人認為，這是一種通向Sora的更便宜的潛在途徑，計算成本可降低一個乃至多個數量級。

　　預測下一級分辨率

　　簡單來說，VAR的核心創新，就是用預測下一級分辨率，替代了預測下一個token的傳統自回歸方法。

　　VAR的訓練分為兩個階段。

　　第一階段，VAR引入了多尺度離散表示，使用VQ-VAE將連續圖像編碼為一系列離散的token map，每個token map有不同的分辨率。

　　第二階段，主要是對VAR Transformer的訓練，通過預測更高分辨率的圖像，來進一步優化模型。具體過程是這樣的:

　　從最低分辨率(比如1×1)的token map開始，預測下一級分辨率(比如4×4)的完整token map，并以此類推，直到生成最高分辨率的token map(比如256×256)。在預測每個尺度的token map時，基于Transformer，模型會考慮之前所有步驟生成的映射信息。

　　在第二階段中，之前訓練好的VQ-VAE模型發揮了重要作用:為VAR提供了“參考答案”。這能幫助VAR更準確地學習和預測圖像。

　　另外，在每個尺度內，VAR是并行地預測所有位置的token，而不是線性逐個預測，這大大提高了生成效率。

　　研究人員指出，采用這樣的方法，VAR更符合人類視覺感知從整體到局部的特點，并能保留圖像的空間局部性。

　　符合Scaling Laws

　　從實驗結果來看，在圖像生成質量、推理速度、數據效率和可擴展性等方面，VAR都超過了DiT。

　　在ImageNet256×256上，VAR將FID從18.65降到了1.8，IS從80.4提高到356.4，顯著改善了自回歸模型基線。

　　注:FID越低，說明生成圖像的質量和多樣性越接近真實圖像。

　　推理速度方面，相較于傳統自回歸模型，VAR實現了約20倍的效率提升。而DiT消耗的時間是VAR的45倍。

　　數據效率方面，VAR只需要350個訓練周期(epoch)，遠少于DiT-XL/2的1400個。

　　可擴展性方面，研究人員觀察到VAR有類似于大語言模型的Scaling Laws:隨著模型尺寸和計算資源的增加，模型性能持續提升。

　　另外，在圖像修補、擴展和編輯等下游任務的零樣本評估中，VAR表現出了出色的泛化能力。

　　目前，在GitHub倉庫中，推理示例、demo、模型權重和訓練代碼均已上線。

　　不過，在更多討論之中，也有網友提出了一些問題:

　　VAR不如擴散模型靈活，并且在分辨率上存在擴展問題。

　　北大字節聯合出品

　　VAR的作者們，來自字節跳動AI Lab和北大王立威團隊。

　　一作田柯宇，本科畢業自北航，目前是北大CS研究生，師從北京大學信息科學技術學院教授王立威。2021年開始在字節AI Lab實習。

　　論文通訊作者，是字節跳動AI Lab研究員袁澤寰和王立威。

　　袁澤寰2017年博士畢業于南京大學，目前專注于計算機視覺和機器學習研究。王立威從事機器學習研究20余年，是首屆“優青”獲得者。

　　該項目的項目主管，是字節跳動廣告生成AI研究主管Yi jiang。他碩士畢業于浙江大學，目前的研究重點是視覺基礎模型、深度生成模型和大語言模型。