智源研究院開源了一種名為 JudgeLM 的裁判模型，可以高效準確地評判各類大模型。

　　與 GPT-4相比，JudgeLM 僅需1/120的成本，就能達到90% 以上的評判結果一致性。它可以應用于純文本、多模態等多種評判場景，并可以輸出評分、判斷和闡述理由。

　　通過創新方法，JudgeLM 與參考答案的一致性最高超過了90%，接近人類表現。JudgeLM 有三個不同參數版本，分別為70億、130億和330億參數，能力和表現隨著參數規模的增大而提升。

　　此外，智源研究院還開源了一個包含訓練和驗證樣本的數據集，用于深入研究大語言模型裁判。JudgeLM 的評判效率高，成本低于基于 API 的評判方法。

　　未來，JudgeLM 團隊將進一步完善這一裁判模型，提供更準確、高效、覆蓋更多場景的大語言模型評判。