本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN)，作者:AIGC開放社區。

　　12月14日，著名生成式AI開源平臺Stability.ai在官網開源了，圖片生成高質量3D模型——Stable Zero123。

　　Stable Zero123是基于今年3月，豐田研究院和哥倫比亞大學聯合開源的Zero123模型開發而成。主要通過更改渲染數據集和分數蒸餾對模型進行了大幅度優化，不僅生成的3D模型效果比Zero123更好，訓練效率也提升了40倍。

　　值得一提的是，Stable Zero123可以與Stability.ai最新開源的高精準圖片模型SDXL相結合使用，相當于3D模型擴展插件。

　　Stable Zero123生成的3D模型示例

　　高質量數據集

　　高質量數據集已成為預訓練大模型的重要環節之一，甚至超過了更多的神經元。

　　所以，Stability.ai對一個超過1000萬個3D模型數據集Objaverse-XL進行了過濾，只保留高質量、精準、數據標注準確的模型。

　　這可以讓Stable Zero123在生成的過程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于該數據集訓練而成。

　　Stable Zero123簡單介紹

　　由于Stable Zero123暫時沒有開放論文，只能用Zero123為大家解讀了。

　　其實這兩個模型挺有意思的是互相學習。Zero123是基于Stability.ai開源的文生圖模型Stable Diffusion進行了創新、微調，使其學會了控制相機的相對視角變換，然后基于視角的擴散方法進行去噪，最后使用3D重建方法進行模型重塑。

　　學習控制相機視角:Zero123通過一個合成數據集微調預訓練了Stable Diffusion模型，使其學會相對相機視角變換的控制，而不破壞模型中的其他表示。

　　基于視角的擴散:將圖像的CLIP嵌入與相對視角變換拼接作為條件信息，指導去噪過程。同時也將輸入圖像與正在去噪的圖像拼接，幫助保持目標物體的識別度和細節。

　　3D模型重建:通過SJC優化一個體素輻射場表示，并使用基于視角的擴散模型進行監督。隨機采樣視角，利用Zero123合成對應視角下的圖像，計算圖像與體素渲染結果之間的得分，更新體素場。

　　這就能使Stable Diffusion模型輸出的豐富2D紋理和形狀，被完美地注入到了3D建模的過程中，形成3D模型。

　　目前，Stable Zero123模型主要用于研究，未來會開放商用。

　　本文素材來源Stability.ai官網、Zero123論文