隨著GPT-4的發布，多模態大模型(MLLM)成為熱點。業界常將視覺編碼器與語言模型集成構建MLLM。盡管微調后的MLLM在視覺語言任務上表現強勁，但仍面臨災難性遺忘的問題，即過擬合微調數據集后，在其他任務上的性能下降。

　　馬毅團隊提出了EMT框架，專門評估MLLM的災難性遺忘。流程是:

　　1)輸入圖像;

　　2)要求MLLM分類;

　　3)用另一個語言模型評估分類正確性。

　　結果顯示，測試的MLLM大多無法保持與視覺編碼器相近的分類性能。

　　研究還針對LLaVA做了微調實驗。證實了適度微調有益，但過度微調會導致非微調任務遺忘。另外，微調后的MLLM會產生與微調數據集相關的幻覺文本，而非原始問題。

　　本研究首次系統評估了MLLM中的災難性遺忘問題，為后續工作提供了框架和基準。遺忘問題的產生也啟示我們，在追求單任務性能的同時，還需注意保持模型的泛化能力，防止過擬合。模型設計和訓練技巧仍需進一步優化，以平衡不同能力之間的權衡。