2021 年 1 月，京東科技在原京東數科與京東智聯云基礎上重組完成，融合了兩大技術業務板塊的綜合實力，京東科技現已成為整個京東集團對外提供技術服務的核心平臺，擁有豐富的產業理解力、深厚的風險管理能力、用戶運營能力和企業服務能力，能面向不同行業為客戶提供行業應用、產品開發與產業數字化服務。京東作為一家新型實體企業，擁有著深厚的產業基因和供應鏈場景，源于真實的業務需求、深度復雜的場景任務和廣泛的實體經濟發展要求，促使京東的 AI 技術是面向知識密集型、任務型場景，解決真實產業問題的技術。且京東云旗下的言犀團隊在任務型智能對話交互關鍵技術方向擁有豐富的積累和廣泛的落地，擁有包括文本生成、語音生成、對話生成等系列領先技術，并打造出了智能客服系統、京小智平臺商家服務系統、智能政務熱線、言犀數字人等系列產品和解決方案。

　　京東科技深耕人工智能領域多年，形成了從算法到應用場景的鏈路，并通過自研推出言犀基礎大模型，賦予客戶在各自行業中快速構建、部署，應用人工智能的能力。通過言犀基礎大模型，企業可以建立從業務的大量數據中自我學習、自驅迭代的能力，并實現對企業實施、運營、維護的一體化覆蓋，同時言犀大模型中的小型化技術能夠使企業具備云管邊端協同運營的能力，增強企業面對非標準化、算力通訊資源受限場景的應對能力，和面對業務變化的快速響應能力。

　　需求分析

　　目前基礎大模型正處于蓬勃發展階段，各行業、各領域以構建數字化、線上化、搭建虛擬仿真場景為主要應用。在當前階段下，基礎大模型面臨著以下問題：一、 由于基礎技術的限制以及大部分企業在大模型應用和硬件設備開發能力的不足，從而導致無法自主生產原生 AI 模型。

　　二、 除了用戶單點大模型開發技術能力的不足，在各行業鏈條中的軟硬件互通、數據標準化和應用功能融合等問題中都存在著無法克服的壁壘。

　　三、 大模型訓練硬件的能源消耗問題，在當前全球綠色經濟的背景下，平穩運行離不開大規模的數據中心和云計算中心等基礎設施的支撐，而大部分企業則無法滿足以上的要求，從而無法實現大模型的應用。

　　針對以上情況，開發言犀基礎大模型，以實現低門檻構建基于人工智能技術的解決方案，是本項目需要解決的問題。

　　案例介紹

　　京東推出的言犀基礎大模型，將著力圍繞內容生成、人機對話、用戶意圖理解、信息抽取、情感分類等幾大類任務，圍繞零售、物流、金融、健康、政務場景進行落地應用。

　　1) 優質的場景和數據讓模型產業屬性更強

　　京東的言犀大模型，是扎根產業的原生大模型。憑借著從基礎設施、模型層、MaaS 層、SaaS 層全棧的技術布局，打造多款端到端的大模型技術產品。

　　言犀大模型擁有三個差異化的特性：

　　第一，它是產業原生的，有更強的產業屬性。

　　第二，它是價值驅動的，有更高的應用價值。

　　第三，它是開放協同的，有更快的迭代效率。

　　另一方面，京東連接著產業互聯網和消費互聯網，在對內實踐和對外產業數智化過程中積累了眾多優質的數據，區別于一些通用域數據的靜態數據，京東的數據是“鮮活的”，憑借每年產生數百億的交互數據，保證了模型的持續迭代和優化。京東的大模型是在預訓練階段就接了 70% 通用域數據和接近 30% 京東特有的產業數據相結合去做訓練，這就保證了模型擁有大模型的“常識”，并擁有產業模型的“專業”。

　　2) 京東言犀大模型技術架構

　　京東言犀大模型是基于京東云的高性能計算集群，采用 Megatron+DeepSpeed 的分布式訓練框架，訓練的 Decoder-Only 架構模型。在通用知識獲取方面，言犀大模型添加了約 30% 的京東域自身的產業數據，并通過構建高質量的指令數據，幫助模型具備更強的產業屬性。除了模型訓練本身，京東言犀大模型還在模型的轉換層和服務層進行了自研算法的深耕，提升了大模型本身的推理速度和部署性能，讓大模型的能力能夠充分的下沉到業務端，并通過集成平臺能力打造真正的模型及服務。

　　3) 前沿的算法能力保證模型具備高應用價值

　　預訓練層面

　　源于業務應用需求，京東在 2020 年就提出了 K-PLUG 模型，將領域知識注入大模型中，以提高大模型的專業性和忠實度，并在 2021 年對該項工作進行了發表。K-PLUG 方法是基于 Transformer 模型架構 X 京東的產業知識進行的預訓練。

　　該算法幫助模型在實體屬性抽取準確率為 96%;在生成式多輪對話 ROUGE-L(指標主要是對比機器生成的內容與人類的標準內容的匹配度)，以 27% 領先于斯坦福經典的 Pointer-Generator;在上下文多輪問答知識檢索率以 74% 準確率領先于行業。

　　推理部署層面

　　除了在大模型的預訓練階段，言犀大模型通過上述算法增強了產業領域知識，在模型的推理層面，京東言犀采用量化矩陣算子融合、自適應參數矩陣量化、自動算子切分與卡間并行、內存優化與緩存等多種策略，將推理速度提升 6.2 倍，且在“首字”推理速度的大模型推理難點上，京東言犀大模型采用自研的算法，極大程度的提升了大模型在推理方面的性能。在部署方向，依靠流式推理有效解碼傳輸機制、動態批處理、異構集群部署等方法，將部署成本降低了 90%。

　　此外，京東言犀大模型還擁有配套的 AI 開發計算平臺，用于快速的模型迭代，效率提升 10 倍以上，讓模型能夠不斷的學習新的知識。

　　4) 澎湃算力打造開放協同的大模型生態

　　為了訓練大模型，京東早在 2021 年就在重慶建成了大模型集群，也是全國首個基于 DGX SuperPOD 架構的超大規模計算集群—天琴 ，該集群在保障京東自身大模型訓練的同時，還將集群的每秒浮點運算次數提升 40%，多卡線性加速比提升 90%，為后續大模型的持續發展打下良好的基礎。

　　另一方面，為了更好的應對大模型背景下的海量數據存儲問題，京東還自研了向量數據庫 Vearch，支持百億級向量監檢索，召回實現毫秒級延遲，智能儲存分層實現成本降低 60%，大幅提升了模型推理泛化能力與推理效率。

　　效益分析

　　該解決方案以京東全產業鏈為核心優勢，從產業場景、軟件平臺、安全合規等多個方面為用戶帶來價值。

　　產業場景方面 : 用戶將借助京東積累的歷史行業知識，低成本快速構建該用戶所在細分領域大模型應用，使用戶快速取得局部市場的先發優勢(量化標準為縮短開發周期及成本降低)。

　　軟件應用方面 : 為了讓模型有更好的能力和應用，京東將開發言犀大模型過程中積累下來的能力解耦整合出來，以大模型開發平臺的形式開放給京東的合作伙伴。該平臺以京東云的私有云、公有云和混合云等高性能計算集群為底座，內置了包括數據、模型訓練和部署推理等工具能力，不僅支持京東自身的言犀框架，也同時會支持各個主流的開源模型框架，促進大模型生態的發展。

　　安全合規方面：言犀 AI 大模型具備數據隱私和內容安全可控的價值：

　　5) 數據隱私安全

　　我司在人機交互研究中進行訓練數據處理、人工智能模型的訓練時，嚴格遵守使用深度合成技術中的個人隱私保護要求，確保訓練數據數據來源合法性，并使用脫敏數據進行模型訓練。

　　6) 內容生成可控性

　　惡意代碼、插件和網絡釣魚電子郵件有可能被 ChatGPT 生成。為了杜絕此安全隱患，京東云言犀團隊會在模型訓練時引入人工反饋機制降低和杜絕模型生成有害信息的回復。同時引入審核 API 來阻止某些有害內容的輸出，例如，當收到要求編寫用于從被黑客攻擊的設備竊取數據的代碼或制作網絡釣魚電子郵件時，模型會拒絕該要求并指出此類內容是“非法、不道德且有害的”。