DeepSeek“開源周”的進度今日來到 4/5，此次開源了優化并行策略的項目。

　　具體如下：

　　DualPipe - 一種用于 V3 / R1 訓練中計算-通信重疊的雙向管道并行算法。

　　EPLB - 一種用于 V3 / R1 的專家并行負載平衡器。

　　分析 V3 / R1 中的計算-通信重疊。

　　附具體項目和鏈接如下：

　　DualPipe：

　　“雙管道(DualPipe)”是在《深度搜索-V3 技術報告》中引入的一種創新的雙向流水線并行算法。它實現了正向和反向計算-通信階段的完全重疊，同時也減少了流水線氣泡。

　　專家并行負載均衡器(EPLB)：

　　在使用專家并行(EP)時，不同的專家被分配到不同的 GPU。由于不同專家的負載可能因當前工作負載而異，因此保持不同 GPU 的負載平衡非常重要。正如在 DeepSeek-V3 論文中所述，我們采用冗余專家策略，復制高負載的專家。然后，我們通過啟發式方法將復制的專家分配到 GPU 上，以確保不同 GPU 之間的負載平衡。此外，由于 DeepSeek-V3 中使用了分組受限的專家路由，我們還盡可能嘗試將同一組的專家放置在同一節點上，以減少節點間的數據流量。為了便于復現和部署，我們在 eplb.py中開源了我們部署的 EP 負載均衡算法。該算法根據估計的專家負載計算平衡的專家復制和放置計劃。請注意，預測專家負載的確切方法不在此存儲庫的范圍內。一種常見的方法是使用歷史統計數據的移動平均值。

　　分析 V3 / R1 中的計算-通信重疊：

　　在這里，我們公開分享來自我們的訓練和推理框架的分析數據，以幫助社區更好地理解通信-計算重疊策略和底層實現細節。