近日，來自谷歌研究團隊以及伊利諾伊大學厄巴納 - 香檳分校的學者們發表了題為《無逆渲染的3D 重新照明》的研究成果。該研究針對使用未知光照條件下的一組物體圖像，以恢復能夠在目標光照下從新視點呈現的3D 表征的可重新光照視圖合成方法進行了探討。

　　傳統方法基于反渲染，試圖將解釋輸入圖像的物體幾何、材料和光照進行分離。然而，這通常涉及通過可微分蒙特卡洛渲染進行優化，具有脆弱性且計算成本高昂。

　　因此，研究團隊提出了一種更簡單的方法IllumiNeRF:首先利用受光條件的圖像擴散模型重光每個輸入圖像，然后利用這些重光圖像重建神經輻射場(NeRF)，從而在目標光照下呈現新的視角。他們證明了這種策略出人意料地具有競爭力，并在多個重光基準測試中取得了最新成果。

　　它具體工作原理如下:

　　給定 (a) 中的一組圖像和相機姿勢，研究人員運行 NeRF 來提取3D 幾何體，如 (b) 所示;

　　基于此幾何形狀和(c)中所示的目標光，為每個給定的輸入視圖創建輻射提示，如(d)所示;

　　接下來，使用 (e) 中所示的重新照明擴散模型和 (f) 中顯示的每個給定圖像的樣本 S 可能的解決方案獨立地重新點亮每個輸入圖像;

　　最后，通過潛在NeRF優化將重新編輯的圖像集提煉成3D表示，如(g)和(h)所示。

　　3D 一致重新照明

　　第一行顯示了最終潛在 NeRF 的渲染圖;

　　第二行顯示了與頂部每個渲染幀相對應的最近訓練視圖的擴散樣本。

　　這種產品可應用于計算機圖形學、增強現實和虛擬現實領域。例如，在電影制作中，可以利用該產品在不同光照條件下呈現3D 場景，從而節省拍攝成本和時間。在虛擬現實應用中，用戶可以在不同光照環境下體驗虛擬場景，增強了真實感和沉浸感。此外，該產品還可用于數字藝術創作和建筑設計等領域，為用戶提供更靈活的光照表現和渲染效果。