蘋果公司最新發布了一款名為MM1的大型多模態基礎模型，擁有300億參數，采用了MoE架構，并且超過一半的作者是華人。該模型在多模態領域具有重要意義，可能預示著蘋果未來推出與此相關的產品。

　　今年以來，蘋果明顯加大了對生成式人工智能(GenAI)領域的投入，這一舉措體現了蘋果在GenAI領域取得重大進展的決心。據悉，蘋果一部分轉向GenAI的團隊原本是從事造車項目的，而如今他們也開始投身于GenAI領域的研發工作。

　　MM1的發布引起了廣泛關注。據論文介紹，該模型采用了MoE變體，并且在預訓練指標和多項多模態基準測試上表現出了領先水平。研究者通過多項消融試驗，探討了模型架構、預訓練數據選擇以及訓練程序等方面的重要性。他們發現，圖像分辨率、視覺編碼器損失和預訓練數據在建模設計中都起著關鍵作用。

　　在預訓練數據選擇方面，研究者發現了幾個重要經驗:交錯數據對提高少樣本和純文本性能有幫助，而字幕數據則對提高零樣本性能具有重要作用。

　　此外，純文本數據對于提高少樣本和純文本性能同樣至關重要。通過合理混合圖像和文本數據，可以獲得最佳的多模態性能，并保留較強的文本性能。研究者還發現，人工合成數據有助于少樣本學習。

　　最終，研究者確定了MM1的最終配方，包括圖像編碼器、視覺語言連接器和預訓練數據的選擇。他們還將LLM的大小擴大到3B、7B和30B個參數，并通過專家混合(MoE)進一步擴展了模型。在監督微調實驗中，MM1在多項基準測試上表現出了競爭力，并且MoE模型在幾乎所有基準測試中均表現優于密集模型。

　　MM1的發布標志著蘋果在多模態領域的重要進展，也為未來蘋果可能推出的相關產品奠定了技術基礎。該研究的成果對于推動生成式人工智能領域的發展具有重要意義，值得業界密切關注。