OpenBuddy 團隊發布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k，這是他們首次在 Llama370B 基座上的中文跨語言訓練嘗試。

　　Llama370B 是一個15T 訓練集訓練而成的稠密大模型，然而由于訓練集中缺少中文數據，Meta 官方的 Llama3系列對話模型在中文領域的認知、理能力較弱，容易出現以英文回答中文問題的現象。

　　因此，OpenBuddy 團隊在此次訓中選擇了 Llama370B Base 模型作為基礎，重點提升模型的跨語言理解、認知能力。

　　測試過程中，OpenBuddy-Llama3-70B 展現出了優秀的中文理解能力，具備了更的認知潛力和量化后性能。在此次發布的模型中，他們對 Llama3現有詞表進行了擴，增加了7000余個中文字詞，進一步提升了模型中文編碼密度。

　　值得一提的是，于量化版模型能力下降較為明顯，他們本次只發布了模型的完整版權重，后續會嘗優化70B 模型的量化后性能，并挑選合適時機發布量化版。