谷歌 DeepMind 最近的研究示了當前我們對文本到圖像 AI 模型性能評估的隱藏局限性。在其發布在預印本服務器 ariv 上的研究中，他們引入了一種全新的方法稱為 “Gecko”，承諾提供一個更全和可靠的基準，以評估這一蓬勃發展的技術。

　　研究團隊在其題為 “用 Gecko 審視文本到圖像評估:對度量、提示和人類評分” 的論文中警告稱:“雖然文到圖像生成模型已經變得無處不在，但它們并不一定生成與給定提示相一致的圖。” 他們指出，目前主要用于評估 DALL-E、Midjourney 和 Stable Diffusion 等模型能力數據集和自動度量并不能全面反映實際情況。

　　小規模的人類評估提供了有限的解，而自動度量可能會忽略重要細微之處，甚至與人類評委產生分歧。 為了揭示這些問題，研究人員開發了 “Gecko”—— 一個新的基準套件，它為文本到圖模型提供了更高難度的測試。Gecko基準通過2000個文本提示對模型進行全面考核，探究各種技能和復雜程度。它將這些提示分成具體的子技能，超越模糊的類，以準確找出限制模型的確切弱點。

　　研究人員還收集了對數個領先模型生成的圖像進行的超過10萬份人類評分。這一基準可以揭示模型性能差距是源自模型真正的局限性、模糊的提示，還是評估方法的不一致。

　　“Gecko” 基準還采用了一個基于問的增強自動評估指標，與人類判斷更為相關。當用于比較新基準下的最先進模型時，這一組合揭示了先前未被發現的模型優勢和劣勢。 研究人員希望他的工作能夠證明使用多樣的基準和評估方法來真正了解文本到圖像 AI 在實際部署前能做什么，不能做什么的重要性。他們計劃免費公開 “Gecko” 代碼和數據，推動進一步的進展。 因此，盡管那些看似令人印象深刻的作品可能乍一看令人印象深刻，但我們仍然需要嚴格的測試來區分真假。Gecko為我們展示了如何做到這一。