在過去的幾年里，計算機程序員紛紛轉向諸如 OpenAI 的 ChatGPT 之類的聊天機器人來幫助他們編碼，這對 Stack Overflow 等網站造成了打擊，導致其去年不得不裁員近30% 的員工。然而，問題在于，普度大學的研究團隊在計算機 - 人類交互會議上發布了研究成果，發現 ChatGPT 生成的編程問題答案中有52% 是錯誤的。

　　對于一個人們依賴于準確性和精確性的程序來說，這一比例是驚人的，這也突顯出其他最終用戶如作家和教師所經歷的問題:像 ChatGPT 這樣的 AI 平臺經常在空中憑空產生完全錯誤的答案。研究人員在研究中回顧了517個 Stack Overflow 的問題，并分析了 ChatGPT 嘗試回答這些問題的結果。他們寫道:“我們發現52% 的 ChatGPT 答案包含錯誤信息，77% 的答案比人類答案更冗長，78% 的答案與人類答案存在不同程度的不一致”。

　　該團隊還對隨機選擇的2000個 ChatGPT 答案進行了語言分析，發現這些答案 “更正式和分析性更強”，同時表現出 “更少的負面情緒” —— 這是 AI 傾向于產生的單調而愉快的語氣。尤其令人擔憂的是，許多人類程序員似乎更喜歡 ChatGPT 的答案。普度大學的研究人員對12名程序員進行了調查，并發現他們以35% 的比例更傾向于選擇 ChatGPT，并且在39% 的情況下沒有發現 AI 生成的錯誤。

　　為什么會發生這種情況呢?這可能只是因為 ChatGPT 比在線人更有禮貌。研究人員寫道:“后續的半結構化訪談揭示出，禮貌的語言、文雅而教科書般的回答方式以及全面性是 ChatGPT 答案看起來更具說服力的主要原因之一，因此參與者放低了警惕，忽略了 ChatGPT 答案中的一些錯誤信息”。

　　這項研究表明，ChatGPT 仍然存在重大缺陷，但這對于被 Stack Overflow 裁員的人或者不得不糾正 AI 生成的代碼錯誤的程序員來說是一個苦澀的安慰。