12月19日-20日，由騰訊發起的2020 Techo Park開發者大會于北京順利召開。其中人工智能專場以“人工智能算法與最佳實踐”為主題，為開發者、業界及生態伙伴呈現了云計算時代下人工智能領域的最新前沿技術與最佳行業實踐。

　　騰訊優圖實驗室的研究員梁晨、王亞彪、姚達、楊博分別圍繞AI視覺傳感器、視覺算法在圖像編輯生成中的研究與應用、TNN跨平臺推理優化、模量化訓練部署及實踐等發表了主題演講，向業界展示了優圖最新研究成果與產業實踐。

　　自研AI視覺傳感器VisionSeed，算法多樣支持二次開發

　　在論壇上，梁晨給大家介紹了一個有趣的硬件——AI視覺傳感器。什么是AI視覺傳感器呢?它是由攝像頭、NPU和算法組成的硬件模組，其基本運行原理是：在NPU上運行深度學習算法，能夠直接對攝像頭拍攝到的畫面進行實時分析，并將分析的結果通過數字信號傳輸給主機。

　　據梁晨介紹，騰訊優圖推出了一款自研的AI視覺傳感器——VisionSeed，內置優圖領先的視覺AI算法，還提供專業的配套工具和全平臺的SDK作為支撐，讓開發者可以方便的進行二次開發。

　　騰訊優圖專家研究員 梁晨

　　算法是AI視覺傳感器的靈魂，VisionSeed具有很強的擴展性，能適應多種算法。一是可以適配SSD、YOLO-V4等開源的目標檢測算法。二是應用于自動駕駛小車競賽領域的車道定位算法，將VisionSeed安裝在AGV小車的前端，獲取第一人稱視角的車道畫面后，通過算法輸出小車在車道內的橫向偏移。這個算法主要通過語義分割進行車道信息提取，再通過回歸模型直接得到定位結果來完成任務，將這兩個交通標識檢測和車道定位模型都部署到AI視覺傳感器中，它就能指揮AGV小車完成復雜的任務。三是OCR算法，VisionSeed適配了基于 PyTorch開源實現的CRNN算法。

　　VisionSeed將以上算法，在客戶端工具中封裝成可以一鍵下載的模塊，不僅方便用戶下載體驗，還可以進行分類任務訓練。VisionSeed還同時支持UART和USB兩個硬件接口。此外，通過VisionSeed提供的全平臺SDK，開發者僅用10行代碼就可以獲取到AI分析后的結構化結果。

　　研發圖像編輯生成技術，解鎖圖像和視頻領域更多可能

　　什么是圖像編輯生成?人臉融合、圖像分割、動漫化、視頻換臉、照片驅動……這些都是利用圖像編輯生產技術完成的。演講中，騰訊優圖高級研究員王亞彪重點介紹了視頻換臉、面部屬性編輯、視線編輯、畫質編輯這四項技術，他表示這些技術都會用到GAN生成對抗網絡和Encoder-Decoder框架。

　　視頻換臉領域早期有一個Deepfake算法，該算法只能對訓練過的兩個特定ID換臉，無法使用各種各樣的人臉去做替換。針對此點不足，優圖提出了SimSwap算法，不僅能滿足不同人臉的替換，還可以做跨性別替換，在正臉和側臉之間也可以進行替換。

　　騰訊優圖高級研究員 王亞彪

　　在面部屬性編輯技術研究中發現，模型不同層級的“風格”特征表示，在某些層級具有很好的可分性，因此優圖提出了SSCGAN算法，該算法采用多級風格跳躍連接(SSC)和空間信息遷移(SIT)兩個模塊，實現整體結構和局部面部屬性的精確編輯。

　　在視線編輯方面，王亞彪指出，疫情期間在線視頻交流越來越重要，但受限于屏幕和攝像頭之間的物理布局，導致交流過程中缺乏眼神接觸，因此優圖提出Ugaze 算法框架，矯正眼神視線方向。相較于以往基于3D變換的視圖生成和基于生成模型的單目視線編輯， Ugaze 算法主要有兩點創新：一是提出了基于運動流場結合判別器的方案;二是使用了大量人工合成數據，采用域遷移方法，進一步提升了模型矯正精度。

　　針對畫質編輯，優圖提出了圖像超分RealSR算法。以往的超分算法往往只在特定數據集上有效，難以很好的對真實世界圖像做超分。針對以往算法在高清和低清圖像pair構造上的不足，我們提出了一種新的圖像退化框架，該框架可以估計多樣化的模糊核和真實噪聲分布。RealSR算法獲得了NTIRE 2020挑戰賽冠軍，并受到了眾多社區開發者的關注。

　　推出統一推理框架TNN，解決產業落地難題

　　騰訊優圖高級研究員姚達在演講中介紹到，優圖的視覺AI技術如文字識別、圖像識別、美容美化等核心技術，已在零售、工業、支付等多個領域進行應用。但在產業解決方案落地過程中，優圖也遇到了一些難點，比如模型格式不同一、硬件架構眾多、性能低功耗高等。

　　為解決以上三大難點，優圖聯合騰訊內部多個部門推出了統一推理框架TNN，以滿足算法模型跨平臺、高性能快速部署需求。TNN通過ONNX作為一個中間結構支持PyTorch、TensorFlow等多種模型格式，同時TNN在底層適配了各種各樣的芯片能力。目前在騰訊內部，TNN已在手Q、微視等多個APP端以及微信支付一體機等終端落地，穩定性和可靠性得到廣泛驗證。

　　騰訊優圖高級研究員 姚達

　　TNN推理框架是如何進行優化的呢?根據硬件架構基礎和硬件的演進，TNN提出兩個基本準則：一是減少計算量，減少內存讀寫，適配Cache讓內存讀寫更快;二是擴展適配異構計算設備。

　　基于以上兩個原則，TNN提出了圖優化、算子公式優化、算子手動調優、異構調度優化等多種優化方案。在圖優化中通過常數折疊和算子融合，避免運行時冗余計算以及減少內存讀寫次數;在算子公式優化中，利用子圖變換、公式等效和近似計算，減小計算量和內存讀寫總量。在算子手動調優中，針對耗時占比在70%以上的卷積算子，根據硬件緩存特性設計精細的卷積實現。在異構調度優化中，TNN提出異構單元專職專用，充分利用所有計算設備，根據計算設備特性分配不同計算任務，同時計算設備間進行流水線優化，以此減少計算設備相互等待，提升計算重疊度，減少整體延時。

　　在硬件適配方面，針對端邊云硬件架構各異，相互不具備通用性，適配工作量巨大這些難點，TNN和硬件廠商進行了聯合優化，優化后可以達到兩種效果：一是接口統一，用戶只需要通過簡單的參數設置，就可以在CPU、GPU、NPU上運行。二是模型統一，TNN內部通過IR中間件的方式適配各個硬件廠商的自研框架如OpenVINO\TensorRT等，用戶僅需轉換TNN模型即可在各硬件平臺部署。

　　優圖在推理框架TNN下與英特爾合作完成多尺度GEMM優化，使得模型性能提升24%;與英偉達完成低精度量化模型的訓練和推理支持，相比FP32推理提升4倍以上

　　目前，TNN已經開源，期待更多開發者加入進來，一起協同共建統一的推理框架。

　　聯合英偉達開發Int8方案，推動模型量化高效升級

　　騰訊優圖高級研究員楊博在演講中講述了模型量化的背景，他指出業界比較常用的模型量化解決方案是NVIDIA post-train方案，這個方案是在訓練完之后對模型進行校正，使用少量的數據，部署很方便，但有一個缺點是會導致模型效果下降。此外，還有一種是以Tensorflow QAT為代表的解決方案，這種方法在訓練過程中模擬Int8計算，采用Minmax計算量化區間，Finetune補償精度損失，但訓練周期長，而且工具鏈還不是很完善，一些常用的模型無法支持從訓練到部署的轉化。

　　可以看出，業界傳統的解決算法都存在某些方面的不足，針對以上這些問題，優圖和英偉達合作開發了一個完善的Int8訓練到部署的方案，該方案升級了圖優化匹配模板，支持更多模型QAT圖轉換，其次增加了混合精度量化訓練方式等其他量化模型精度保持方式，最后推理框架(TensorRT、TNN)支持包含quant節點的模型轉換。

　　騰訊優圖高級研究員 楊博

　　Int8模型科學機訓練采用的是什么工作方法呢?首先會做一個BN層的融合，然后是子圖搜索和匹配，匹配到子圖以后，會自動插入量化節點，最后通過建立黑白名單的混合精度策略、動態量化區間統計以及激活層增量量化等方法，來保持模型效果。

　　Int8模型前向部署主要分為兩部分，一是導出模型到onnx，完成QAT訓練后，對checkpoint進行后處理并導出包含量化op在內的onnx模型;二是采用TensorRT顯示精度的模式完成fp32模型到int8模型的轉換，對相關OP做一些融合，將onnx模型轉換到tensorRT和TNN內。

　　楊博表示Int8標準模型，在打通Calibration和QAT部署相關工作之后的一些數據效果很好，但會增加耗時，優圖會繼續優化技術，提高研究效率。后續優圖也將繼續和英偉達展開更深度的合作，進一步完善優圖QAT工具，增加對TensorRT后續版本的支持，提供更加易用高效的QAT模型訓練和部署解決方案。

　　作為騰訊旗下頂級的人工智能實驗室，優圖一直聚焦計算機視覺，專注人臉識別、圖像識別、OCR、機器學習、數據挖掘等領域開展技術研發和行業落地，未來將持續深耕于此，讓人工智能更好得助力產業數字化發展。