2月29日 消息:近日，來自不列顛哥倫比亞大學和Invertible AI的研究人員推出了一款具有突破性的大型語言模型(LLM)——FinTral，專為金融領域量身定制。FinTral采用了多模態方法，能夠處理文本、數字、表格和視覺數據，以應對金融文件的復雜性。該模型引入了FinSet，一個全面評估金融LLM的基準。實驗證明，FinTral在多項任務中表現出色，包括具有增強視覺和工具檢索功能的版本，在眾多任務中超越了GPT-4等已建立的模型。

　　FinTral以Mistral-7b模型為基礎，經過領域特定的預訓練，利用包含來自C4、新聞和財務文件等多元來源的FinSet數據集，共計20億標記，以提高對金融查詢的理解和響應能力。為了進一步增強性能，FinTral通過指導調整和人工智能反饋結合人類和AI反饋，優化了模型。FinTral通過CLIP編碼器進行視覺數據處理，并通過工具處理數值任務，從而有效增強了其功能。該模型通過直接策略優化和檢索增強生成進一步提升了在金融分析領域的準確性和深度。

　　實驗結果顯示，FinTral在各種金融任務中表現出色，FinTral-INST模型通過對預訓練模型進行微調，在平均得分達到0.49的情況下，超越了所有其他模型。經過帶有AI反饋的強化學習的模型也取得了顯著進展，FinTral-DPO在平均得分達到0.59的情況下，表現卓越，僅略低于GPT-4的平均得分0.69。然而，實驗結果也指出了一些需要改進的方面，包括實時數據處理、維護和更新、標注數據的稀缺等。

　　FinTral是一款先進的金融語言模型，利用大量數據集和多樣的訓練方法分析復雜的金融數據。通過以清潔的金融數據進行預訓練并采用檢索方法，降低了模型的虛構風險，提高了準確性和可靠性。其對金融市場的實時適應性和動態數據檢索能力可以顯著提高預測準確性和決策制定。研究人員承認了研究中存在的限制和風險因素，并對未來發展充滿樂觀。