每個 token 只需要 5.28% 的算力，精度就能全面對標 Llama 3。

　　開源大模型，再添一位重量級選手——

　　來自浪潮信息的 32 專家 MoE 模型，源 2.0-M32。

　　那么，這到底是怎樣的一款模型?

　　1/19 算力消耗，性能對標 Llama 3

　　首先了解一下模型的基本信息，源 2.0-M32 模型采用 MoE 架構，專家數量為 32，總參數量 40B，激活專家數為 2，激活參數量 3.7B。

　　精度上，源 2.0-M32 在多個測評數據集上全面對標 Llama3(70B，以下同)，在 MATH(數學競賽)和 ARC-C(科學推理)榜單還上超越了 Llama3。

　　舉個例子，在求解一道中文數學題目時，源 2.0-M32 能夠用中文進行完整、準確作答，而 Llama3 雖然能理解中文題目，但回答時還是用了英文。

　　而且看一下 Llama3 的答案，雖然前面的過程也沒什么問題，但最終得到的結果錯得離譜，硬生生把一堆整數的和算出了小數點。

　　在實現與業界領先開源大模型性能相當的同時，在模型的訓練、推理和微調過程中，源 2.0-M32 的資源消耗也都顯著更低。

　　在訓練階段，使用 2 萬億 token 對源 2.0-M32 進行預訓練，計算量只有同參數規模稠密模型的 9.25%。

　　在推理階段，在達到相當精度的條件下，源 2.0-M32 平均每個 token 消耗的算力為 7.4GFLOPS，Llama3 則需要 140GFLOPS，前者的消耗僅為后者的 1/19，即 5.28%。

　　換言之，源 2.0-M32 每 Token 算力下的平均精度是 Llama3 的18.8 倍，擁有更高的模算效率。

　　微調上，使用 1 萬條平均長度為 1024 token 的數據進行微調，Llama3-70B 消耗為 0.05PD(PetaFLOPs/s-Day)，源 2.0-M32 只用 0.0026PD，僅為 Llama3 的 5.2%。

　　當然不得不說的是，雖然源 2.0-M32 的微調消耗已經降低到了 Llama3 的 5.2%，但微調本身對于一些用戶來說就是無法負擔的成本。

　　而得益于源 2.0-M32 強大的少樣本學習能力，讓用戶即使沒有條件進行微調，也能快速構建大模型應用。

　　以代碼生成為例，僅需很少量的樣本引導，源 2.0-M32 在 HumanEval 上獲得的精度就能從 74.4 提升到 78.1，增幅達到了 4.97%。

　　浪潮信息提供了預訓練、微調和推理服務腳本，開發人員可以高效完成部署。

　　模型部署可端可云，可以在自有的云服務上部署，也可以在浪潮信息推出的企業大模型開發平臺EPAI中快速構建，還可以通過浪潮信息開源的本地大模型對話工具YuanChat，在 PC 端完成快速部署。

　　而且源 2.0-M32 模型激活參數量僅 3.7B，算力需求只有 2B 模型(單專家)的 1 點多倍，用筆記本就能帶動。

　　總之，浪潮信息始終追求更高效的智能涌現——本次發布 " 源 2.0-M32" 大模型，就是希望資源有限的條件下，實現能耗更低、推理和訓練效果更優的大模型開發。

　　那么，浪潮信息是如何實現用更少的算力開銷，對標行業領先模型的呢?

　　算法、算力、數據的全面創新

　　自浪潮信息涉足 AI 領域以來，一直將" 算法、算力、數據 "視為 AI 應用的 " 三駕馬車 "。

　　實際上，整個 " 源 " 系列大模型的研發過程亦是如此，所有的相關研究，都是圍繞著這三個維度展開的。

　　在算法上，源 2.0-M32 選擇了 MoE 架構，解決了稠密模型訓練成本過高、數據和算力不足的問題。

　　從 Llama1(65B)、Llama2(70B)到 Llama3(70B)的迭代過程可以看出，三代模型的參數量接近，但隨著訓練 Token 數從 1.4T 增加到了 15T，模型表現也隨之顯著提升。

　　△數據來自 Llama1 與 Llama2 的論文

　　大模型的擴展率揭示出：增大模型的參數量與增大訓練的 token 數對模型能力提升的作用類似，如果按照 Llama3 的訓練數據量(15T tokens)外推，500B 參數的模型若想充分的訓練，所需的高質量文本 token 數高達 107T，已經遠遠超過了當前業界已知的數據量。

　　退一步講，即使真的有這么多數據，訓練過程所需的算力投入同樣無法承受。

　　按照計算，如果用 107T 訓練 token 訓一個 500B 參數規模的 Dense 模型，需要的算力是 321000Z(10^21)Flops。

　　即使在 2 萬顆加速卡的集群上，訓練效率按 40% 來算(實際還不一定能達到)，也需要耗時 464 天，單是電費就要花費約 3 億元。

　　相比之下，MoE 模型的一個顯著優勢就是，能夠在遠少于稠密模型所需的計算資源下，進行有效的預訓練。

　　同時，源 2.0-M32 沒有采用 Mixtral 等 MoE 模型中更常見的 8 專家結構，而是將專家數量設定為了 32，運行時只激活兩個專家。

　　這一參數的選擇，是研發團隊進行了大量的實驗調優之后確定的。

　　浪潮信息人工智能首席科學家吳韶華介紹說，模算效率是浪潮信息設計自己的大模型時的核心出發點，在提升模型能力的同時，盡可能降低算力開銷。

　　業界中像 Mixtral 這樣的模型，獲得更高精度的方式是固定專家數量，增加單個專家的參數量，但源 2.0-M32 則反其道而行之。

　　吳韶華介紹，在研發團隊的實驗中，隨著專家數量從 8 個專家增加到 32 個專家，在模型精度上取得了非常不錯的回報。

　　但即使總的專家數量增加到了 32 個，激活的專家依然只有兩個。在這種情況下，激活參數量不變，算力開銷不變。

　　至于源 2.0-M32 中的單個專家，則是選用了源 2.0-2B 模型，這樣做的考量是控制單個專家的參數量不至于過大，以便在企業場景應用中可以有更好的模算效率。

　　除了在專家數量的設置上另辟蹊徑，團隊也對源 2.0-M32 的門控網絡進行了全新設計，采用了獨創的Attention Router 門控網絡，相比傳統的門控網絡獲得了精度提升。

　　當前流行的 MoE 結構大都采用簡單的調度策略，其本質是對 token 與代表每個專家的特征向量求點積，隨后挑選點積結果最大的幾個專家。

　　這種方式只考慮了 token 和專家的關系，卻忽略了專家與專家之間的相關性，但實際過程中往往需要多個專家協同參與計算，如果忽視專家之間相關性，無疑會降低模型的精度。

　　而源 2.0-M32 大模型中的 Attention Router，就創造了一種專家間協同性的度量方法，解決了傳統的門控機制中專家關聯性缺失的問題。

　　具體來說，對于每一個專家，研發團隊都構建了 3 個向量，并利用類似 Attention 的機制來構建專家之間的關系。最終選擇的專家不僅與 Token 匹配度高，兩個專家的協同效果也更好。

　　此外，源 2.0-M32 也沿用了源 2.0 系列中首創的局部注意力過濾增強(LFA)機制，和經典的 Llama 結構相比，模型在幾百億 token 數據的訓練之后，在 100 億 token 的測試集上做測試，會有 3.5% 的精度提升。

　　在數據層面，源 2.0-M32 一共使用2 萬億 token進行訓練，相比之前的 2.0 版本大幅提升。

　　整個訓練過程也非常穩定，沒有出現數值不穩定或異常的中斷的情況，最終訓練損失為 1.22。

　　數據類型上看，源 2.0-M32 這個模型的 2 萬億 token 中，差不多有一半的數據都是代碼，包含中文代碼和英文代碼。

　　同時，團隊也引入了互聯網數據和各類學科數據等類型，來補充數據的多樣性。

　　另外，研發團隊還通過源 2.0 合成數據的工具，獲得并增加了超過 1000 萬條的合成數據，重點是針對于數學和中文代碼。

　　因為互聯網上中文數學的語料實在太少，研發團隊曾經清洗了 10PB 左右的互聯網數據，但實際只得到了幾十 GB 的中文數學數據。

　　所以，這片空白需要通過數據合成來進行填補，這也是研發團隊持續做的工作。

　　在算力層面，源 2.0-M32 延續了源 2.0 提出的分布式訓練方法，綜合運用流水線并行 + 數據并行的策略，顯著降低了大模型對芯片間 P2P 帶寬的需求，為硬件差異較大訓練環境提供了一種高性能的訓練方法。

　　針對 MoE 模型的稀疏專家計算，采用合并矩陣乘法的方法，模算效率得到大幅提升。

　　將開源進行到底

　　了解了模型背后的技術細節，浪潮信息又為什么能夠打造出如此高效的大模型技術和產品呢?

　　主觀上，浪潮信息始終堅持在算法、架構等層面進行創新，對于這樣做的原因，吳韶華這樣介紹：

　　如果想提升大模型的能力，沿用當前的結構當然是一個比較好的路徑。

　　但我們始終堅持：要從算法層面和模型架構層面做探索、創新，這樣才能更快速的實現模型能力的提升。

　　客觀上，也至少包括以下三點原因。

　　一是從 AI 時代開始之前，浪潮信息就是專業的算力供應商，在算力側擁有大量的生態伙伴，對不同類型算力特點有深入的研究，能夠更高效地對算力進行利用。

　　實際上，自從 2021 年的源 1.0 開始，浪潮信息的一系列模型就都實現了比業界更高的訓練效率。

　　同時期的 GPT-3，算力的利用效率只有 21.3%，而源 1.0 效率則達到了 44.8%，達到了業界領先水平。

　　二是在浪潮信息內部，也有非常多的場景和團隊，包括客服、軟件研發、生產制造、運維等等，都有很多實際的應用案例，或者實際需要模型去做規�；�轉型的場景。

　　這些場景為源大模型的使用、迭代提供了天然的試驗場，同時從中能夠積累更多的經驗、更多的能力，從而滿足更多的需求。

　　三是始終堅持開源開放，同樣對模型能力的進化非常有幫助。

　　源系列模型的開源從 1.0 版本就已開始，從源 1.0 到源 2.0 再到今天的源 2.0-M32，始終在堅持做開源，也已賦能了很多開發者。

　　這些開發者基于源 1.0 做了很有趣的應用探索，給了浪潮信息很好的反饋，指明了在模型能力上和開發者實際的應用需求上，到底應該關注在哪些層面。

　　吳韶華表示，從源 1.0 開源至今，浪潮信息一直在開源活動中持續受益，后續也會很堅定的繼續開源。

　　總之，從創新研發到開源開放，浪潮信息將堅持致力于研發基礎大模型，為企業用戶降低大模型使用門檻，加速推進產業智能化升級。