總部位于倫敦的初創公司 Stability AI 于周三推出了一款名為 Stable Audio 的新產品，該產品利用人工智能生成定制音樂曲目和音效。

　　Stable Audio 使用一種基于擴散的 AI 模型，可以在幾秒鐘內從簡單的文本輸入生成定制音頻文件。用戶可以指定音樂風格、樂器、音調和其他特征，系統然后自動創作出相匹配的歌曲、音效或樂器聲部。

　　Stability AI 使用輸入文本進行了測試，如“后搖滾、吉他、鼓套、低音、弦樂、歡快、振奮、情緒化、流暢、原始、史詩、多愁善感、125BPM”。結果是一首快速的大氣搖滾歌曲，BPM 為125。根據 Stability 的說法，這表明 Stable Audio 可以生成多種風格的歌曲，包括氛圍音樂、技術音樂和電子舞曲。

　　與以往基于人工智能的音樂生成器不同，Stable Audio 似乎能夠以長達90秒的時間生成音樂上連貫的作品，并且以44.1kHz 的專業音頻質量。

　　生成的樣本音頻聽起來非常真實，幾乎不會讓人懷疑背后沒有人類作曲家。根據 Stability AI 的說法，使用 Nvidia A100GPU，95秒音頻可以在不到一秒鐘內生成。

　　這種技術有潛力在各種應用中發揮作用，特別是在電影制作和游戲開發等創意領域。通過網絡瀏覽器可以訪問，即使對人工智能不熟悉的用戶也能輕松使用。

　　為了實現這種質量，Stability AI 對音樂庫進行了培訓，音樂庫由 AudioSparx 提供。通過使用約80萬首歌曲、音效和樂器片段，AudioSparx 與 Stability AI 合作，并承諾將音樂庫的收入份額提供給初創公司 Stability Audio。作為回報，參與培訓的歌曲的創作者可以通過 AudioSparx 分享 Stable Audio 的利潤。

　　據稱，在培訓之前，這些創作人被問及是否愿意提供他們的歌曲。這個決定可能是對 Stability 在 Stable Diffusion 的培訓素材涉及版權辯論中所面臨的大規模反對的回應。

　　根據 Stability AI 的說法，用戶可以免費將使用 Stable Audio 創建的音軌用于個人用途。商業用途需要付費訂閱。該公司的目標是創意專業人士，如電影制片人或游戲開發人員，他們需要快速獲得合適的背景音樂。

　　Stability AI 還計劃發布一個基于不同數據集訓練的開源音樂模型。

　　Stable Audio 不同于 Stable Diffusion，因為它不是開源的，不像流行的圖像模型那樣。然而，FAQ 中表示，將很快發布一個基于其他數據集訓練的開源模型。

　　Stable Audio 的基礎是文本到音樂的模型 Dance Diffusion，該模型是在2022年由 Harmonai 發布的，并得到了 Stability 的支持。然而，Stable Audio 是 Stability AI 音頻部門從零開始開發的模型，該部門成立于2022年4月。

　　對音樂使用擴散模型并不是一個新的想法。然而，Stable Audio 的強大之處在于它能夠以不同長度生成作品，訓練過程中考慮到了這一點。

　　Stability AI 是這樣解釋底層技術的:Stable Audio 是一個潛在擴散模型，由幾個部分組成:變分自動編碼器 (VAE)、文本編碼器和基于 U-net 的擴散模型。 VAE 將立體聲音頻壓縮為有損、抗噪聲和可逆的潛在編碼，從而實現更快的生成和訓練。 新訓練的 CLAP 模型的凍結文本編碼器用于文本提示。 定時嵌入在訓練期間計算并用于控制輸出音頻長度。 Stable Audio 的擴散模型是基于 Moûsai 模型的9.07億參數 U 網。

　　您可以通過最近推出的網絡界面專門使用穩定音頻。每月有20首時長不超過45秒的歌曲免費供個人使用。每月只需11.99美元，即可獲得500首歌曲，播放時間長達90秒，并獲得商業許可。

　　沒有內容過濾器很容易導致抄襲

　　該工具還可以用來偽造流行藝術家的歌曲。到目前為止，唱片公司已經能夠成功地對抗此類人工智能創作，但法律狀況仍不清楚。

　　Stability AI 本身在接受 Techcrunch 采訪時堅稱，它希望負責任地使用該技術。AudioSparx 的數據庫不包含流行歌曲，但許多歌曲都以知名藝術家的風格進行標記。與谷歌的 MusicLM不同，著名藝術家的名字不會被屏蔽，至少目前還沒有。

　　Stable Audio 能否為 Stability AI 的商業模式帶來回報還有待觀察，該商業模式迄今為止一直處于虧損狀態。無論如何，人工智能作品的令人印象深刻的質量讓你刮目相看。