本文來自微信公眾號“定焦”(ID:dingjiaoone)，作者:黎明，編輯:魏佳。

　　AI生成的視頻，正在入侵互聯網。

　　此前，我們已經見識了完全由AI制成的科幻預告片《Trailer:Genesis》，以及用AI合成的《芭比海默》預告片。這兩部腦洞大開的片子，讓我們見識了AI的神奇。

　　現在，越來越多AI視頻工具正在被開發出來，批量制造短視頻和電影片段，其生成效果讓人驚嘆，使用門檻卻低到“令人發指”。

　　比如用Pika生成的這個:

　　用Runway Gen-2生成的這個:

　　以及用Neverends生成的這個:

　　不需要復雜的代碼，也不需要深奧的指令，只需要一句話，或者一張圖片，AI就能自動生成動態視頻。如果想修改，同樣只需要一句話，指哪改哪。喜歡做視頻的同學，再也不用四處找素材、熬夜剪輯了。

　　在創投圈，視頻生成類AI正在取代大語言模型，成為近期最熱門的賽道。前段時間出圈的Pika，給這團火又添了一把柴。

　　AI視頻這陣風，能吹多久?

　　AI生成視頻，這次有點東西

　　用AI生成一段視頻不是什么難事，區別在于生成什么樣的視頻。

　　經常剪視頻的人可能知道“一鍵成片”，在剪映等視頻工具里輸入腳本，系統可直接生成與腳本匹配的視頻;在一些數字人平臺上傳一張照片，AI生成一個數字人，在口播時能自動對口型。

　　這是AI，但不是我們今天討論的AI。

　　本文提到的AI生成視頻，指的是生成有連續邏輯的視頻，內容之間有關聯性與協同性。它不是根據腳本把圖片素材拼接成視頻形式，也不是用程序驅動數字人“動手動嘴”。它更接近于“無中生有”，實現難度更高。

　　比如以下這段視頻，就靠一句指令生成:

　　視頻中的汽車、樹葉、光影，是AI靠自己的知識儲備和經驗“畫”出來的，或者說是“瞎編”的。當然，是根據用戶的要求“瞎編”。

　　再看以下這段視頻，就靠一張靜態圖片，AI自動拓展成視頻。

　　圖片中的人物、船只、水流本來都是靜止的，AI將它們變成了動態。

　　AI還可以對原視頻進行擴充，把場景“補”齊，比如從只有上半身擴充到全身，以及構造出人物背后的全景。這跟最近很火的AI擴圖有點像，AI根據自己的理解，以小見大，以樹木見森林。

　　以上三種生成視頻的方式，就是現在流行的AI視頻“三件套”:文生視頻、圖生視頻、視頻生視頻。簡言之，無論是文字、圖片還是視頻，都能作為原始素材，通過AI生成新的視頻。

　　從技術角度，這依托跨模態大模型。在輸入端，輸入自然語言、圖像、視頻等形式的指令，最后都能在輸出端以視頻的形式呈現。

　　生成只是第一步，后續還能用AI修改。

　　請看X網友發布的一段視頻:

　　這個視頻體現了兩個重要的功能:一鍵換裝，一鍵增減物品。這也是Pika在1.0版本上線時重點介紹的功能。在Pika的宣傳片中，只需要一句話輸入指令，就能給猩猩戴上墨鏡，給一位行走中的女士換裝。

　　這其中的厲害之處不在換裝，而在換裝的方式——用自然語言的方式下指令，且整個過程非常絲滑，毫無違和感。通過AI，人們能夠輕松編輯并重構視頻的場景。

　　AI還能改變視頻風格，動漫、卡通、電影，通通不在話下，比如將現實中的實拍鏡頭轉換為卡通世界，它的效果跟P圖軟件的濾鏡有點像，但更高級。

　　現在用AI生成的視頻，已經能達到以假亂真的效果，國內還有一批公司在研發更新的技術。

　　這兩排人物，每排的六個人動作都一模一樣，就像“一個模子里刻出來的”。沒錯，它們就是通過人物靜態圖片，綁定骨骼動畫生成的。

　　這是阿里研究院正在進行的一個項目，叫Animate Anyone，它能讓任何人動起來。除了阿里，字節跳動等公司也在研發類似技術，且技術迭代很快。

　　效果很好，但別高興太早

　　用簡單的自然語言讓AI生成定制化的視頻，給行業帶來的興奮跟去年的ChatGPT差不多。

　　文生視頻的原理與文生圖像類似，但由于視頻是連續的多幀圖像，所以相當于在圖像的基礎上增加了時間維度。這就像快速翻動一本漫畫書，每頁靜止的畫面連起來，人物和場景就 “動”起來了，形成了時間連續的人像動畫。

　　華創資本投資人張金對「定焦」分析，視頻是一幀一幀構成的，比如一幀有24張圖片，那么AI就要在很短時間內生成24張圖片，雖然有共同的參數，但圖片之間要有連貫性，過渡要自然還是很有難點。

　　目前主流的文生視頻模型，主要依托Transformer模型和擴散模型。通過Transformer模型，文本在輸入后能夠被轉化為視頻令牌，進行特征融合后輸出視頻。擴散模型在文生圖基礎上增加時間維度實現視頻生成，它在語義理解、內容豐富性上有優勢。

　　現在很多廠商都會用到擴散模型，Runway的Gen2、Meta的Make-A-Video，都是這方面的代表。

　　不過，跟任何技術一樣，剛開始產品化時讓人眼前一亮，同時也會有一些漏洞。

　　Pika、Runway等公司，在宣傳片中展示的效果非常驚艷，我們相信這些展示是真實的，也的確有人在測試中達到類似的效果，但問題也很明顯——輸出不穩定。

　　不論是昨日明星Gen-2，還是當紅炸子雞Pika，都存在這個問題，這幾乎是所有大模型的通病。在ChatGPT等大語言模型上，它體現為胡說八道;在文生視頻模型上，它讓人哭笑不得。

　　瀚皓科技CEO吳杰茜對「定焦」說，可控性是文生視頻當前最大的痛點之一，很多團隊都在做針對性的優化，盡量做到生成視頻的可控。

　　張金表示，AI生成視頻確實難度比較大，AI既要能理解用戶輸入的語義，圖與圖之間還要有語義連貫性。

　　AI生成視頻的評估標準，通常有三大維度。

　　首先是語義理解能力，即AI能不能精準識別用戶的指令。你讓它生成一個少女，它生成一個阿姨，你讓一只貓坐飛機，它讓一只貓出現在飛機頂上，這都是理解能力不夠。

　　提示詞為 A cat flying a plane，Cartoon style

　　其次是視頻生成效果，如畫面流暢度、人物穩定性、動作連貫性、光影一致性、風格準確性等等。之前很多生成的視頻會有畫面抖動、閃爍變形、掉幀的問題，現在技術進步有所好轉，但人物穩定性和一致性還有待提高。我們把一張馬斯克的經典照片輸入給Gen-2，得到的視頻是這樣的:

　　馬斯克的臉怎么變得這么有棱角了?還有，這個手是怎么回事......

　　另外，畫面主體的動作幅度一大，就很容易“露餡”，比如轉動身體的少女一會兒是瓜子臉一會兒是大餅臉，或是奔跑中的馬甩出“無影腿”。

　　還有一點是產品易用度。AI生成視頻最大的變革之一，是大幅降低了使用門檻，只用輸入很少的信息就能實現豐富的效果，過去視頻工作者用PR、AE制作視頻，要在復雜的操作界面點擊各種按鈕，調節大量參數，現在你只用打字就可以了。

　　產品是否易用，是技術能否大規模普及的一個重要前提。AI擴圖最近被人們“玩壞”，也是因為操作簡單，但效果感人。當普通小白也能像P圖一樣P視頻，那離爆款產品誕生就不遠了。

　　就當前而言，以上三項指標已有很大進步，尤其是剛上線不久的Pika1.0，各方面表現均衡。但輸出不穩定依然是共性問題。

　　視頻時長也是一大限制。現在主流的文生視頻產品，正常生成的視頻時長一般在3到4秒，最長的沒有超過30秒。生成視頻的時間越長，對AI的理解、生成能力要求越高，露餡的概率也越大。

　　因此很多人不得不使用“續杯”的方式，同時還得結合其他素材，才能實現理想效果。而在《芭比海默》《Trailer:Genesis》這兩部預告片中，作者用到了Midjourney(處理圖像)、Gen-2(處理視頻)、CapCut(剪輯視頻)等多種工具。

　　吳杰茜表示，當前市面上的AI文生視頻產品，生成的視頻時長最多也就十多秒，瀚皓科技即將推出的產品試圖做到生成任意時長，比如15秒短視頻、1分鐘左右的短劇，這也能成為一個差異化的特色。

　　所以就當前而言，想靠AI直接生成一整部大片，還有點早。

　　爭搶AIGC的最后一塊拼圖

　　在AIGC的各大細分賽道中，AI文生視頻被認為是最后一塊拼圖，是AI創作多模態的“圣杯”。整個行業的熱潮，已經逐步從文生文、文生圖，轉向了文生視頻領域。

　　成立于2018年的美國公司Runway，一度引領AI生成視頻浪潮。它在2023年2月推出的Gen-1，主打視頻轉視頻，能改變視頻風格;3月推出的Gen-2，實現了用文字、圖像或視頻片段生成新視頻。

　　Gen-2將生成視頻的最大長度從4秒提升到了18秒，還能控制“鏡頭”，用“運動筆刷”隨意指揮移動，一度是文生視頻領域最先進的模型。

　　Runway的創始團隊有很強的影視、藝術背景，因而客戶主要是電影級視頻編輯和特效制作者，他們的技術被用在了好萊塢大片《瞬息全宇宙》中。2023年下半年，Runway完成一筆過億美元的融資，公司估值超過15億美元。

　　最新玩家是Pika，這家公司由兩個在美國讀書的華人女博士退學創辦，公司成立僅8個月，員工4人。Pika進展神速，11月底發布的全新文生視頻工具Pika1.0，在各大社交媒體迅速走紅。再加上創始人爽文大女主的人設，被國內媒體瘋狂報道。

　　一位AI創業者對「定焦」說，Pika采用了差異化的打法，主打動畫生成，規避了AI生成視頻在逼真度和真實性方面的缺陷。另外Pika在正式推出1.0版本之前，已經在discord積累了一定數量的用戶。

　　除了這兩家公司，AI視頻領域的玩家還有Stability AI，它最知名的產品是文生圖應用Stable Diffusion，11月剛發布了自己的首個文生視頻模型Stable Video Diffusion;Meta發布了Make-A-Video;Google推出了Imagen Video、Phenaki。

　　中信建投制圖

　　國內的進展相對慢一些，還沒有明星產品出現。已經推出或正在研發文生視頻應用的公司有右腦科技、生數科技、萬興科技、美圖等。

　　其中，右腦科技的視頻功能在8月開啟內測申請。這是一家年輕的公司，2022年9月才成立，已獲得獲得奇績創壇、光速光合的投資。生數科技在2023年3月才成立，由瑞萊智慧RealAI、螞蟻和百度風投聯合孵化。

　　也有一些公司擅長蹭熱點，無論主動或被動。

　　Pika被媒體熱炒那幾天，A股上市公司信雅達股價暴漲，連續6個交易日接近漲停，累計接近翻倍。這僅僅是因為Pika創始人郭文景為信雅達的實控人郭華強之女，而這兩家公司沒有任何業務往來，信雅達也沒有AI視頻生成類相關產品和業務。

　　炒概念，一直都是資本市場的慣常操作。

　　360集團在2023年6月發布大模型產品時，順帶也演示了文生視頻功能，號稱“國內首個實現文生視頻功能的大模型產品”“ 全球最先進的人工智能技術之一”。當然，這些自封的稱號有多少人會信、這些產品有多少人會用，我們不得而知。

　　在圖片領域有優勢的美圖，也在Pika上線后一周內，發布了視覺大模型MiracleVision4.0版本，主打的功能就是AI視頻。不過，這些功能目前尚不可用，得到2024年陸續應用到美圖秀秀等產品中。

　　AI行業太嘈雜，我們常常搞不清，哪些公司是做產品，哪些是來炒股的。

　　拋開這些雜音，AI文生視頻技術本身是好的，有望推動生產力革命，加速AIGC技術產業化的進程。中信證券認為，文生視頻有望率先在短視頻和動漫兩個領域落地，短視頻制作中的傳統實拍模式有望被生成式技術替代。

　　或許用不了多久，短視頻就不再需要真人出鏡、拍攝和錄制。這不僅僅指口播場景，而是任何你能想象得到的場景，以及大量你想象不到的形象。隨之而來的，是AI生成的視頻大舉入侵互聯網，AI像流水線一樣批量制造短視頻，短視頻的游戲規則也要變了。