3月1日 消息:擴散模型中，UNet的long skip connection上的scaling操作被證實能夠穩定模型訓練。在一些流行的擴散模型中，如Imagen和Score-based generative model中，已經觀察到設置scaling系數可以有效加速模型的訓練過程。

　　但是，過去這種操作缺乏具體的分析，只是經驗性地認為能夠起到加速作用�，F有研究發現，合理設置scaling系數可以緩解特征不穩定，進而提高模型對輸入擾動的魯棒性。

　　這項研究也揭示了scaling系數對梯度量級的控制以及對輸入擾動的穩定性的影響。通過對擴散模型任務中特征和參數的可視化，研究人員發現了模型訓練過程中的不穩定現象，這一發現促使他們在long skip connection上進行Scaling來進行統一地緩解。

　　通過引入可學習的模塊，如Learnable Scaling (LS) Method，可以自適應地調整scaling系數，進一步穩定模型的訓練。

　　此外，研究人員提出了一種無需額外參數的Constant Scaling (CS) Method，簡化了模型實現過程。雖然LS在穩定訓練上表現更好，但CS仍然是一種值得嘗試的策略。這些方法的實現非常簡潔，只需幾行代碼即可實現。最近的一些后續工作也進一步驗證了skip connection上scaling的重要性，為這一領域的發展提供了新的思路和方向。