傳統的游戲引擎依賴手動編碼，通過循環處理用戶輸入、更新游戲狀態來完成游戲的開發，這種方法費時且成本非常高。

　　谷歌的研究人員基于開源擴散模型Stable Diffusion1.4開發了實時游戲模擬引擎GameNGen，可以在單個TPU上以超過20幀每秒的速度交互式模擬了經典射擊游戲《DOOM》。

　　隨后邀請了人類對GameNGen模擬的游戲進行評估，結果顯示，人類幾乎無法分別出哪個一個是AI模擬的游戲，這是因為GameNGen在模擬游戲時，不只是簡單地復制視覺效果，還能維持復雜的內部狀態更新。

　　例如，可以正確地計算玩家的生命值、彈藥數量，攻擊敵人，破壞物體，打開門等，并且這些狀態變化能夠持續多幀形成連貫的視覺效果，進一步增強了模擬的真實性。

　　GameNGen模擬的經典設計游戲《Doom》

　　雖然GameNGen的功能異常強大，但在架構和訓練方面并不復雜，主要由兩大部分組成。第一階段，通過訓練一個智能體來模擬人類玩家的各種游戲行為，通過與游戲環境的交互，生成了一系列的動作和觀察數據。

　　這些數據不僅包括玩家的輸入，按鍵和鼠標移動，還包括游戲的輸出，屏幕上渲染的像素等。該數據后續會被用來訓練生成模型，使其能夠學習如何根據玩家的輸入和游戲的當前狀態來預測游戲的下一幀。

　　為了使智能體更好地執行多種動作，研究人員還設置了獎勵函數，包括玩家被擊中(-100分)、玩家死亡(-5000分)、擊中敵人(300分)、殺死敵人(1000分)、拾取物品 / 武器(100分)、發現秘密(500分)等。此外，為了鼓勵智能體流暢地模擬人類玩法，每個動作會應用4幀，并人為增加重復上一個動作的概率。

　　第二階段，在訓練生成模型時，研究人員選了開源的擴散模型Stable Diffusion v1.4作為基礎模型，并對其進行了調整以適應游戲模擬的復雜需求。通過編碼過去的幀和動作來預測下一幀，該過程涉及到將過去的幀編碼到潛在空間，并將其與噪聲結合來生成新的幀。這種編碼和預測的過程是GameNGen能夠實時生成高質量游戲畫面的技術關鍵。

　　為了解決自回歸生成過程中可能出現的樣本質量快速下降難題，研究人員引入了“噪聲增強”技術。這種方法通過在訓練時向編碼幀中添加不同量的高斯噪聲，并在模型輸入中包含噪聲水平，使得網絡能夠在推理時校正之前幀中的錯誤信息。也是保持長時間軌跡穩定性的重要方法，允許模型在生成過程中不斷校正和優化其預測，從而保持生成畫面的連貫性和質量。

　　研究人員表示，雖然GameNGen還有一些技術局限，但在游戲關卡設計、游戲測試、實時場景交互等游戲開發領域幫助非常大。例如，在創建游戲場景時，傳統方法可能需要開發人員逐一編寫每個元素的代碼，而 GameNGen 可以根據訓練數據自動生成逼真的場景，包括地形、建筑和道具等。

　　此外，GameNGen 還能夠根據玩家的行為和反饋進行實時調整和優化�？梢詫W習玩家的游戲模式和偏好，從而為玩家提供個性化的游戲體驗。例如，如果玩家傾向于某種類型的游戲策略，GameNGen 可以相應地調整游戲難度和內容，以增加游戲的趣味性和挑戰性。