10月27日消息:谷歌最新發布的PaLI-3視覺語言模型(PaLI-3)在小體量下實現了SOTA性能，引起廣泛關注。這款模型以更小的體量和更快的推理速度實現更強大的性能，是谷歌去年推出的多模態大模型PaLI的升級版。

　　通過對比預訓練方法，研究人員深入研究了視覺-文本(VIT)模型的潛力，從而在多語言模態檢索中達到了SOTA水平。這一成功凸顯了較小規模模型在實際應用和高效研究中的重要性，提供了強大性能和低參數需求的替代方案，有望推動視覺語言領域的發展。

　　視覺語言模型在人工智能領域發揮著重要作用，PaLI-3將自然語言理解和圖像識別完美融合，成為AI創新的先鋒。與其他模型如OpenAI的CLIP和Google的BigGAN類似，這些具有文本描述和圖像解碼能力的模型推動了計算機視覺、內容生成和人機交互等領域的發展，成為科學研究和商業發展的核心力量。

　　PaLI-3的內部結構采用了預訓練的VIT-G14作為圖像編碼器，并使用SigLIP的訓練方法，其中VIT-G14的20億參數是PaLI-3的基石。對比預訓練在圖像和文本嵌入后關聯特征層面，將視覺和文本特征合并后輸入到30億參數的UL2編碼-解碼器語言模型中，實現了精確的文本生成，也可用于特征任務的查詢提升，如視覺問答(VQA)。

　　總的來說，PaLI-3在視覺語言模型領域表現出色，特別在定位和視覺文本理解等任務中取得了卓越的性能。它的基于SigLIP的對比預訓練方法開辟了多語言跨模態檢索的新時代。這一模型在多個任務和數據集上都展現出杰出表現，為視覺語言領域的研究和應用帶來了新的可能性。

　　雖然PaLI-3尚未完全開源，但已發布了多語言和英文SigLIP Base、Large和So400M模型，為感興趣的研究人員提供了嘗試的機會。這一創新有望影響視覺語言模型的未來發展方向，提供更高效的解決方案。