2月29日 消息:Allen AI最近宣布開源了微調模型OLMo-7B-Instruct，這是一個真正意義上的開源項目。該模型是基于AI2的Dolma數據集構建的，該數據集包括了用于語言模型預訓練的三萬億標記的開放語料庫，還包括生成訓練數據的代碼。

　　此外，OLMo框架還包括四種7B規模模型變體的完整模型權重，每個模型至少訓練了2T個標記。推理代碼、訓練指標和訓練日志也都已提供，讓用戶可以輕松復刻微調過程。

　　為了幫助用戶更好地評估模型性能，Allen AI還發布了用于開發中使用的評估套件。每個模型在訓練過程中每1000步都有500多個檢查點，并且提供了在Catwalk項目框架下的訓練和評估代碼。

　　這一系列的開源內容將使用戶能夠全面了解從預訓練模型到RLHF微調模型的整個過程，為他們的研究和實踐提供了強大的支持。Allen AI的舉措為開源社區提供了更多可能性，促進了模型研究和應用的發展。