斯坦福大學和加州大學伯克利分校的研究人員發表了一篇論文，研究了 OpenAI 的 ChatGPT 大語言模型(LLM)在2023年3月至6月之間發生的變化。

　　他們發現，在經過三個月的評估后，ChatGPT 的性能在某些任務上明顯惡化。例如，在判斷質數和顯示思考過程的任務中，GPT-4的準確率下降了95.2%，而 GPT-3.5的準確度大幅上升，提升了79.4%，從7.4%提高到了86.8%。另一個用限定符求一系列整數之和的問題在 GPT-4和 GPT-3.5中也出現了性能下降，分別為負42% 和20%。

　　與3月份相比，6月份的GPT-4更能抵抗越獄或通過特定提示規避內容保護邊界，這一變化很可能被視為該公司的一項改進。

　　研究人員認為，提高監測和透明度可以避免 LLM 漂移的問題。這項研究揭示了企業在考慮采用生成式 AI 產品時需要注意的新領域，并稱之為 “LLM 漂移”。要應對 LLM 漂移的影響，企業需要保持警惕，并進行連續的外部評估和監測。