上海 AI 實驗室聯合語料數據聯盟成員共同開源發布了高質量多模態預訓練語料 “書生・萬卷”1.0。

　　據悉，這個語料庫包含了文本數據集、圖文數據集和視頻數據集，總量超過2TB。其中包括超過5億個文本、2200萬個圖文交錯文檔和1000個節目影像視頻。

　　這些數據經過細粒度清洗、去重和價值對齊等處理，具備多元融合、精細處理、價值對齊和易用高效的特點。

　　上海 AI 實驗室表示，開源發布 “書生・萬卷” 有助于降低大模型技術的門檻，推動大模型的應用和創新。該語料數據聯盟旨在通過聯合多方機構打造高質量的語料數據，探索形成可持續運行的激勵機制，打造國際化、開放型的大模型語料數據生態圈。