在最新的研究論文中，谷歌研究人員引入了一種名為Cappy的預訓練評分器模型，旨在增強和超越大型多任務語言模型的性能。這項研究旨在解決大型語言模型(LLM)所面臨的挑戰，其中包括高昂的計算資源成本和效率低下的訓練和推理過程。

　　目前，多任務法學碩士如T0、FLAN和OPT-IML等被廣泛應用于各種自然語言處理任務，并在統一的指令跟蹤框架下進行訓練。然而，這些模型由于巨大的規模和硬件要求，使得它們在適應下游應用程序時面臨著挑戰。為了應對這些挑戰，Cappy被引入作為一種輕量級的預訓練評分器，旨在提高多任務法學碩士的性能和效率。

　　Cappy的架構基于RoBERTa，頂部有一個用于回歸的線性層，利用多樣化的數據集集合進行預訓練，確保覆蓋廣泛的任務類型。研究人員還提出了一種數據構建方法，以滿足預訓練數據中標簽多樣性的需求，并生成一個大型有效的回歸預訓練數據集。Cappy的應用程序涉及一種候選者選擇機制，可獨立運行于分類任務，也可作為生成任務的輔助組件，增強現有多任務LLM的解碼。

　　通過引入輕量級預訓練評分器Cappy，這項研究解決了在多任務場景中有效利用大型語言模型的挑戰，展示了其在各種任務上的參數效率和性能的優越性，同時強調了在實際應用中簡化大型語言模型采用的潛力。