1月18日 消息:蘋果公司的研究者通過自回歸圖像模型(AIM)驗證了視覺模型“參數越多性能越強”的規律，進一步證明隨著容量或預訓練數據量的增加，模型能不斷提升性能。AIM能有效利用大量未經整理的圖像數據，訓練方法和穩定性與最近的大型語言模型(LLM)類似。這一觀察結果與之前關于擴展大型語言模型的研究結果是一致的。

　　雖然本文實驗所使用的模型規模有限，還需進一步探索是否能在更大參數量級的模型上驗證此規律。研究者使用的預訓練目標遵循應用于圖像 patch 序列的標準自回歸模型，通過一系列實驗和研究，驗證了模型容量可以輕松擴展到數十億個參數，同時對下游任務有很好的性能。

　　此外，研究者對自回歸目標訓練 ViT 模型的多方面進行了探討，并且重新審視了之前的工作。研究者的實驗報告顯示，在整個訓練過程中，優化目標直接帶來更好的下游性能，而隨著模型容量的增加，損失值和下游任務的準確性都有所提高。這一觀察結果與在 LLMs 中觀察到的趨勢一致，反映了優化目標會直接帶來更好的下游性能。

　　在 AIM 的設計參數中，除了擴展寬度，研究者還特別采用了一種簡單設計，使用多層感知機塊，獨立地對每個 patch 進行處理。研究者同時強調，研究的模型規模有限，對更大參數量級的模型上驗證此規律還有待進一步探索。

　　論文的實驗結果證明了視覺模型同樣遵循「參數越多性能越強」的規律，自回歸訓練對圖像模型具有很好的擴展性，并能夠滿足視覺特征的訓練要求。對未來圖像模型性能提升和優化提供了新的研究方向和思路。