中科大和 IDEA 研究院封神榜團隊合作開發了一款名為 ChiMed-GPT 的中文醫療領域大語言模型(LLM)。該模型基于封神榜團隊的 Ziya2-13B 模型構建，擁有130億個參數，并通過全方位的預訓練、監督微調和人類反饋強化學習來滿足醫療文本處理的需求。

　　ChiMed-GPT 的訓練過程包括三個階段:預訓練、監督式微調和人類反饋強化學習。在預訓練階段，模型使用了2.14億字的醫學百科文檔和教科書文章進行繼續訓練，以擴展醫療領域的知識。在監督式微調階段，模型利用問答和醫患對話數據來提升在真實醫療環境中理解人類指令的能力。在人類反饋強化學習階段，模型使用拒絕采樣技術進行訓練，通過獎勵模型訓練和拒絕采樣微調來進一步提高模型性能。

　　在醫療信息抽取、問答和對話生成等任務上，ChiMed-GPT 的性能優于其他同規模的開源模型，并且在多個指標上超越了 GPT-3.5。在醫療信息抽取任務中，ChiMed-GPT 的性能優于通用和醫學領域的開源模型。在問答任務和對話生成任務中，ChiMed-GPT 在多個評估指標上表現出色，展示了其在實際應用中的廣泛適用性。

　　據悉，ChiMed-GPT 的研發對于提升醫療智能的重要性具有重要意義。該模型不僅能夠有效處理醫療文本數據，還能生成適合回答患者咨詢的內容。