科技媒體The Decoder報道，谷歌于5月26日發布開源框架LMEval，旨在解決大語言模型和多模態模型評測標準不統一的難題。

　　該框架通過標準化基準設置，簡化了跨模型比較流程，并借助LiteLLM兼容Google、OpenAI等主流平臺的接口差異，實現無縫測試。

　　LMEval支持文本、圖像及代碼等多領域評測，可識別模型規避風險內容的策略，并引入Giskard安全評分量化防護能力。測試數據存儲于本地加密數據庫，兼顧隱私與效率。其增量評估和多線程引擎設計顯著降低計算成本，而LMEvalboard可視化工具則通過雷達圖直觀展示模型性能差異，助力開發者精準優化。