以AI圖像生成技術聞名遐邇的Midjourney，正悄然展現其在人工智能領域的更廣闊野心。這家擁有龐大用戶群體的科技公司，在自研計算和AI硬件的消息之后，近期攜手紐約大學(NYU)的機器學習專家，發布了一項關于訓練文本生成大語言模型(LLMs)的最新研究成果。

　　該研究聚焦于提升LLM在創意寫作方面的能力，旨在使AI模型能夠像Meta的Llama和Mistral等開源模型一樣，寫出更具創造性的文本。

　　不止于圖像:Midjourney發力創意文本生成

　　對于一家以擴散模型AI圖像生成技術著稱的公司而言，Midjourney此次在文本生成領域的創新嘗試，無疑向外界傳遞了一個明確的信號:他們的目標遠不止于視覺內容。正如研究人員所言，“一圖勝千言”的傳統觀念或許將被改寫，文本的創意潛力同樣值得深入挖掘。Midjourney正在用實際行動證明，其在AI領域的探索是多元化的。

　　告別“套路”:創新技術提升AI寫作多樣性

　　該項發表于AI代碼社區Hugging Face的研究論文，創新性地提出了兩種名為“多樣化直接偏好優化”(Diversified Direct Preference Optimization， DDPO)和“多樣化賠率比偏好優化”(Diversified Odds Ratio Preference Optimization， DORPO)的新技術。這兩項技術的核心目標在于擴大AI模型生成文本的范圍，使其在保持連貫性和可讀性的前提下，呈現出更加豐富多樣的內容。

　　研究人員指出，盡管當前的LLM在事實性問答或代碼輔助等領域表現出色，能夠生成“最優解”，但在創意寫作領域，由于其開放性，對同一個提示本應存在多種有效的回應。例如，對于“寫一個關于月球上的狗的故事”這樣的提示，人類可能會構思出宇航員遺落在月球上的寵物狗、未來犬類太空殖民地的狗狗，或是與外星生物成為朋友的流浪狗等多種截然不同的情節。

　　然而，經過指令調優的LLM往往會收斂于相似的故事線和主題。這主要是因為后期訓練技術更側重于用戶偏好而非原創性，強化了流行但重復的答案;同時，指令調優也可能平滑了變異性，使模型傾向于生成“安全”但缺乏新意的回應。此外，現有的多樣性促進技術(如溫度調整)通常只在模型推理階段發揮作用，而沒有融入到模型的學習過程中。這最終導致AI生成的創意寫作顯得同質化，缺乏驚喜和深度。

　　讓AI模型“另辟蹊徑”

　　為了克服這些局限性，Midjourney的研究團隊對現有的偏好優化方法進行了改進，引入了DDPO和DORPO。這兩項創新的核心在于利用“偏差”(deviation)——即一個回應與其他回應的差異程度——來指導模型訓練。

　　具體來說，在訓練過程中，模型會接收一個寫作提示和多個可能的回答。隨后，每個回答都會與其他同提示下的回答進行比較，并計算出一個偏差分數。那些罕見但高質量的回應在訓練中會被賦予更高的權重，從而鼓勵模型從更多樣化的例子中學習。通過將偏差融入到直接偏好優化(DPO)和賠率比偏好優化(ORPO)中，模型能夠學習生成更高質量且更具差異性的回應。這種方法確保了AI生成的故事不會局限于單一可預測的結構，而是能夠探索更廣泛的角色、設定和主題，就像人類作家一樣。

　　為了驗證這些新方法的有效性，研究人員使用了Reddit社區r/writingPrompts上的數據集對LLM進行訓練。他們選擇了Meta的Llama-3.1-8B(一個80億參數的模型)和Mistral AI的Mistral-7B-v0.3(一個70億參數的模型)作為基礎模型。

　　訓練過程包括監督式微調(SFT)和偏好優化兩個階段。在偏好優化階段，他們首先使用標準的DPO和ORPO作為基線，然后應用DDPO和DORPO引入基于偏差的權重。最后，通過自動評估(測量語義和文體多樣性)和人工評估(判斷輸出的多樣性和吸引力，并與GPT-4o和Claude3.5進行比較)來評估模型性能。

　　實驗結果顯示，DDPO在保持輸出質量的同時，顯著優于標準的DPO。搭載DDPO的Llama-3.1-8B在質量和多樣性之間取得了最佳平衡，其生成的回應比GPT-4o更加多樣化，同時保持了良好的連貫性。即使在數據集規�？s小的情況下，DDPO模型仍然能夠保持一定的多樣性。

　　賦能各行業:AI創意內容潛力無限

　　這項研究對于需要使用AI生成創意文本的企業而言，具有重要的實際意義。例如，在營銷文案、企業故事講述以及影視游戲劇本創作等領域，提升AI生成內容的多樣性和質量至關重要。對于負責LLM部署的AI團隊而言，如何在保證質量的前提下增強輸出的多樣性是一個關鍵挑戰。Midjourney的研究為解決這一難題提供了一種新的思路。

　　該研究提出了一種新的LLM后訓練方法，能夠在不犧牲質量的前提下增強創造力。它還提供了一種實用的替代方案，可以取代推理時期的多樣性調整(如調整溫度)，將多樣性直接融入到模型的學習過程中。這有望開發出更具吸引力的AI應用，例如AI輔助寫作工具和能夠動態調整回應的虛擬助手。

　　對于負責AI模型編排和自動化的專業人士來說，這項研究強調了在訓練階段調整模型的重要性，從而減少部署后進行后處理調整的需求。它還提供了一種將自適應敘事引入AI驅動應用的方法，確保內容的可變性，同時保持高質量。此外，該方法有助于使LLM的輸出更像人類，這對于需要互動敘事、客戶互動或動態內容創建的應用至關重要。

　　結語

　　DDPO和DORPO的成功表明，以多樣性為目標訓練LLM可以在創意寫作方面取得顯著的進步。未來，將基于偏差的學習方法集成到企業AI模型中，以增強面向客戶的應用中的響應多樣性，探索這些方法在詩歌、劇本創作或游戲故事等其他生成任務中的應用，以及開發平衡多樣性和指令遵循能力的混合訓練方法，都將是值得期待的研究方向。

　　Midjourney的研究團隊計劃公開其代碼，這無疑將為那些希望應用這些技術的開發者提供寶貴的資源。通過采納這些創新技術，AI團隊有望突破僵化、公式化的輸出模式，構建出不僅智能，而且真正富有想象力的AI系統。