近期,來自倫敦帝國理工學院和戴爾的研究團隊推出了 StyleMamba,這是一種有效的框架,用于轉移圖片風格,通過使用文本來指導風格化過程,同時保持原始圖像內容。當前文本驅動風格化技術的計算需求和訓效率低下的問題在這個引入中得到了解決。
傳統上,文本驅動的風格化是通過大的計算資源和冗長的訓練過程來處理的。通過專門為有效的文本驅動圖像風格轉移創建的條件空間模型,StyleMamba 加快了這一過程。通過這種方法,可以通過順序地將圖像特征與目文本提示進行對齊,從而精確控制風格化。
StyleMamba 提供了兩種獨特的損失函數,即二階方向損失和掩碼損失,以確保圖像與書面提示之間的局部和全局風格一致性。這些損失將所需的訓迭代次數減少了5倍,推理時間減少了3倍,從而優化了風格化方向。
StyleMamba 的有效性經過了大量測試和定性分析的確認。結果驗證了該建議方法的魯棒性和整體風格化性能優于當前基線的性能。這框架提供了一種更有效、更經濟的方式,將口頭描述轉換為視覺上吸引人的風格,同時保持原始圖像材料的完整性和精神。
該團隊總結了他們的主要貢獻如下:
1. 通過將條件 Mamba 整合到 AutoEncoder 架構中,StyleMamba 提供了一個簡單而強大的框架。通過這種合,可以快速有效地完成文本驅動的風格轉移,簡化了與當前方法的比較。
2. StyleMamba 使用損失函數來提高風格化質量。引入掩碼方向損失和二階關系損失,確保更好的全局和局部風格致性,而不損害圖像的原始內容,并加快了風格化過程。
3. StyleMamba 的有效性經過了徹的經驗分析,包括定量和定性評估。這些測試表明了 StyleMamba 在風格化質量和速度方的優勢。
由于其易用性和有效性,StyleMamba 已在除靜止圖像風格轉移之外的設置中進行了評估。實驗表明,StyleMamba 在各種應用和媒體格式上都表現出多功能性和適應性,包括多種風格轉移任務和視頻風格轉移。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。