阿里巴巴研究團隊最近推出的Qwen-Audio系列為大規模音頻語言模型領域帶來了重大突破。該系列通過采用層次標簽的多任務框架，成功解決了有限的預訓練音頻模型面臨的多樣化任務的挑戰。

　　相比之前專注于語音的工作，Qwen-Audio不僅包含人類語音，還涵蓋了自然聲音、音樂和歌曲，實現了在具有不同粒度的數據集上的協同訓練。該模型在語音感知和識別任務方面表現出色，而無需進行特定任務的修改。

　　Qwen-Audio的多任務框架有助于減輕干擾，實現了在基準任務上的顯著性能。Qwen-Audio-Chat作為擴展，不僅支持多輪對話，還適用于各種音頻中心場景，展示了在大規模音頻語言模型中全面的音頻交互能力。

　　盡管大規模語言模型在通用人工智能方面表現出色，但它們缺乏對音頻的理解。Qwen-Audio系列的推出填補了這一空白，將預訓練擴展到30個任務和多種音頻類型。

　　Qwen-Audio系列的訓練方法分為兩種:Qwen-Audio采用多任務預訓練方法，優化音頻編碼器同時凍結語言模型權重;相反，Qwen-Audio-Chat采用監督微調，優化語言模型同時固定音頻編碼器權重。這一訓練過程包括多任務預訓練和監督微調，使Qwen-Audio-Chat具有多樣的人際交互能力，支持從音頻和文本輸入中的多語言、多輪對話。

　　Qwen-Audio在各種基準任務上表現出色，明顯優于沒有特定任務微調的對照組。它在AAC、SWRT ASC、SER、AQA、VSC和MNA等任務上始終超越基線，同時在CochlScene、ClothoAQA和VocalSound上取得了最先進的結果，展示了其在挑戰性音頻任務中的有效性和能力。

　　Qwen-Audio系列未來的探索方向包括擴展不同音頻類型、語言和特定任務的能力。通過優化多任務框架或探索替代的知識共享方法，可以解決協同訓練中的干擾問題。

　　研究人員還計劃通過不斷更新基于新基準、數據集和用戶反饋的內容，提高通用音頻理解水平。Qwen-Audio-Chat將進一步優化以符合人類意圖，支持多語言互動，并實現動態多輪對話。