1、方案介紹
MindSpore Lite推理框架提供了功能完備的轉換工具及簡潔易用的推理API接口。
模型轉換階段，MindSpore Lite轉換工具可將MindSpore訓練框架導出的MindIR模型或第三方框架導出的ONNX模型轉換為MindSpore Lite格式的ms模型。離線轉換過程中，工具首先將用戶模型解析為標準MindSpore Lite IR格式，并在此基礎上執行算子融合、子圖切分、量化壓縮等系列優化操作。同時，MindSpore Lite依據目標部署硬件特性，將優化后的IR對接至相應硬件后端，最終導出適用于MindSpore Lite推理部署的ms模型文件。
在線推理階段，MindSpore Lite提供簡明高效的API調用接口，通過加載轉換后的ms模型，基于CPU后端注冊的170+高性能算子實現，調度選取最優執行計劃，最終獲取推理結果。推理過程中，框架支持子圖切分、IO免拷貝等關鍵技術，有效提升模型推理性能并保障業務部署的穩定性與功能性。
2、關鍵技術
CPU混合精度推理：
MindSpore Lite提供CPU混合精度推理機制，可針對單個模型內的不同算子，靈活配置Float32、Float16等不同精度計算策略，通過僅對精度敏感的算子保持高精度計算，可完成性能和精度的精細調優。以語種翻譯模型為例，結合算法測試集，默認選用Float16推理，針對LayerNorm，SoftMax等數值敏感算子采用Float32推理，較整網Float32性能提升20%，內存降低30%，且精度誤差<1%。
輸入/輸出免拷貝：
調用MindSpore Lite執行推理前需要設置輸入數據，推理結束后也需要讀取輸出結果，當輸入規模變大，如翻譯模型輸入KVCache，會引入較大的內存拷貝時延，且存在額外內存占用。MindSpore Lite利用CPU內存共享機制，實現了模型輸入/輸出數據免拷貝功能，可有效降低推理時延和內存占用。以翻譯模型CPU推理為例，針對多達40個輸入節點，開啟免拷貝功能，可提升10%的推理性能，且內存優化10%。
性能測試與驗證
可以通過MindSpore Lite官網發布包中的converter_lite轉換工具，將開源導出的onnx模型轉換成ms的模型，然后通過MindSpore Lite官網發布包中的benchmark工具驗證模型的功能與性能數據，詳細的驗證方法可以參考MindSpore Lite官網教程：https://www.mindspore.cn/lite/docs/zh-CN/r2.7.1/tools/benchmark_tool.html
性能測試與驗證
• 針對翻譯算法模型在端側CPU硬件上的部署推理，MindSpore Lite會持續進行性能優化，降低部署內存，提升推理性能，提供更加易用的接口能力。
• 與開源社區共同適配更多更新的開源算法模型，提升推理框架的泛化性能力，與模型推理性能。
開源代碼倉庫鏈接：
https://gitee.com/mindspore/mindspore-lite
昇思社區官網鏈接：
https://www.mindspore.cn/lite/
鴻蒙官網MindSpore Lite Kit主頁：
https://developer.huawei.com/consumer/cn/sdk/mindspore-lite-kit
本次在杭州舉辦的昇思人工智能框架峰會，將會邀請思想領袖、專家學者、企業領軍人物及明星開發者等產學研用代表，共探技術發展趨勢、分享創新成果與實踐經驗。歡迎各界精英共赴前沿之約，攜手打造開放、協同、可持續的人工智能框架新生態!
文章內容僅供閱讀，不構成投資建議，請謹慎對待。投資者據此操作，風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評，目前站內累計模型數超過80萬個，涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景，基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告，2025年第二季度》顯示，上半年全球智能家居清潔機器人市場出貨1,2萬臺，同比增長33%，顯示出品類強勁的市場需求。
京公網安備 11010502041587號