蘋果公司近日發布了一款名為MLLLLM Ferret-UI的新型機器學習語言模型，旨在提升對移動應用用戶界面(UI)的理解。這款模型經過特別優化，能夠處理移動UI屏幕上的各種任務，并具備指向、定位和推理等能力。業界普遍猜測，這一技術可能會被應用在即將發布的iOS18中，提供類似通過Siri自動操作應用界面的功能。

　　Ferret-UI模型是專為提高對移動UI屏幕理解而設計的MLLM。它的一個關鍵特點是“任何分辨率”技術，該技術通過放大細節來解決UI屏幕中小型對象的識別問題，從而顯著提高模型對UI元素的理解精度。

　　UI屏幕的理解是一個復雜的問題，因為它不僅要求模型能夠理解屏幕上的內容，還要能夠識別和操作具體的UI元素。與傳統的自然圖像相比，UI屏幕通常具有更多的長寬比和更小的元素，這些元素對于模型來說是一個挑戰。

　　為了克服這些挑戰，Ferret-UI采用了“任何分辨率”技術。該技術通過將屏幕分割成基于原始寬高比的子圖像，并對每個子圖像進行單獨編碼，從而在不丟失重要視覺信號的情況下放大細節。這種方法使得模型能夠更準確地識別和理解UI屏幕上的小型對象。

　　在訓練Ferret-UI時，收集了從基礎UI任務到高級任務的廣泛數據樣本。這些樣本被格式化為帶有區域注釋的指令遵循格式，以便于模型進行精確的引用和定位。此外，為了提高模型的推理能力，還特別編制了一個包含詳細描述、感知/交互對話和功能推斷等高級任務的數據集。

　　Ferret-UI的架構基于已經在自然圖像的引用和定位任務中表現出色的Ferret模型。為了適應UI屏幕的特點，Ferret-UI進行了架構調整，包括集成“任何分辨率”技術和使用預定義的網格配置來劃分全圖圖像。此外，為了全面評估模型的能力，還建立了一個包含所有研究任務的綜合測試基準。

　　在高級任務中，Ferret-UI的對話能力表現突出，尤其是在詳細描述和交互對話任務中。模型能夠生成與視覺組件相關的詳細討論，并提出以特定目標為導向的行動計劃。此外，Ferret-UI還能夠通過功能推斷來解釋屏幕的整體目的，顯示出在理解和生成自然語言指令方面的高級能力。