Runway前腳剛發布Gen-3Alpha，Google后腳就跟了個王炸。

　　北京時間6月18日凌晨，Google Deepmind發布了視頻生成音頻（Video-to-Audio，V2A）技術的進展，可以為視頻創建戲劇性的背景音樂，逼真的音效，甚至是人物之間的對話。

　　V2A技術支持為AI生成視頻“配樂”，Google還特別強調了官網發布的Demo視頻都是由自家在五月份發布的生成視頻模型“Veo”和V2A技術合作打造。

　　有不少網友表示，這下終于可以給用Luma生成的meme視頻配上聲音了!

　　從Google Deepmind官網發布的Blog上看，V2A技術會采用視頻像素和文本提示來生成與底層視頻同步的音頻波形。

　　首先，V2A會對視頻和文本提示進行編碼，并通過擴散模型迭代運行，將隨機噪聲細化為與視頻和所提供的文本提示相匹配的真實音頻，最后再對音頻進行解碼并與視頻數據相結合。

　　X網友紛紛表示太贊了，但就是有一個小小小小的問題，和同樣是凌晨發布的Runway的視頻生成模型Gen-3Alpha一樣，這又是一個大家都用不上的超贊模型，到底啥時候開源讓咱們試試水!

　　先不急，我們先嘗嘗官方發布的Demo咸淡!

　　Google認為，AI視頻生成模型飛速發展，但市面上的大多數模型，不管是Sora、Luma，還是剛剛發布的Gen-3Alpha，都只能生成無聲視頻。

　　而Google所研發的V2A技術能夠使AI視頻進入“有聲時代”，進一步推動AI在視聽方面的完善與發展。

　　從Demo視頻來看，其效果真的挺絲滑的，怪不得Google“夸下�？�”!

　　比如這個，畫面中一個人從前走到后，可以聽到令人不安的背景音樂和嘎吱嘎吱的腳步聲。

　　【提示:電影、驚悚片、恐怖片、音樂、緊張感、氛圍、混凝土上的腳步聲。Prompt for audio: Cinematic， thriller， horror film， music， tension， ambience， footsteps on concrete】

　　諸如此類的視頻配樂還有小恐龍破殼的聲音、打鼓的音樂聲、車流聲等等。

　　【提示:可愛的小恐龍鳴叫、叢林氛圍、雞蛋破裂。Prompt for audio: Cute baby dinosaur chirps， jungle ambience， egg cracking】

　　【提示:音樂會舞臺上的鼓手被閃爍的燈光和歡呼的人群包圍。Prompt for audio: A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd】

　　【提示:汽車打滑、汽車發動機節流、天使般的電子音樂。Prompt for audio: cars skidding， car engine throttling， angelic electronic music】

　　Google還強調，V2A技術之所以能夠在卷得要命的AI視頻圈“脫穎而出”，是因為該技術可以理解原始像素，因而哪怕不輸入文本提示，只要用戶提供視頻，該技術也可以為其“配樂”。

　　例如，下面視頻中的吉他聲和自行車聲是在沒有任何提示的情況下合成的。

　　V2A技術也可以生成人物對話，比如下面視頻中角色所說的臺詞，“這只火雞看起來棒極了，我好餓啊(this turkey looks amazing， I'm so hungry)”。

　　不過從視頻中看，人物唇形與臺詞并不完全匹配，因為視頻模型不會生成與轉錄文本相匹配的嘴部動作，Google也承認這一部分仍在研究完善當中。

　　此外，V2A技術還支持為視頻輸入生成無限數量的音軌，用戶可以選擇定義“正提示”來引導生成所需的聲音，或定義“負提示”來引導遠離不需要的聲音。

　　這種靈活性使用戶能夠更好地控制V2A的音頻輸出，從而可以快速嘗試不同的音頻輸出，并選擇最佳匹配。

　　下面三個視頻是Google放出的Demo，我們猜測Google是想說明用戶可以用不同的文本提示來定向地修改配樂中的一些要素，不過好像不太明顯

　　【提示:一艘宇宙飛船在浩瀚的太空中疾馳，星星從它身邊飛過，速度很快，科幻感。Prompt for audio: A spaceship hurtles through the vastness of space， stars streaking past it， high speed， Sci-fi】

　　【提示:空靈的大提琴氛圍。Prompt for audio: Ethereal cello atmosphere】

　　【提示:一艘宇宙飛船在浩瀚的太空中疾馳，星星從它身邊飛過，速度很快，科幻效果。Prompt for audio: A spaceship hurtles through the vastness of space， stars streaking past it， high speed， Sci-fi】

　　雖然該技術還未開源，但從現有的Demo來看，待其開源之時，必將又掀起AI視頻圈一陣大風浪。

　　屆時我們估計能看到AI圈“大混戰”——Runway的Gen-3Alpha剛生成一個視頻，隔壁V2A就給它把音樂配好了;Meme變視頻還沒玩夠呢，用戶們已經等不及給它配上聲音了。

　　AI視頻圈，到底要“卷”成什么樣?!