計算機視覺(CV)市場繼續保持活力
AI在最近10年藉助計算力增長逐步轉化為行業生產力，最重要的原因之一，便是計算機視覺ComputerVision的實用化。從圖像分類、物體檢測、圖像標註、物體定位等應用，逐步實現產業化落地，如視頻分析、智能製造、智能零售和自動駕駛等。
醫療智能輔助診斷可以藉助超過90%的醫療影像分析數據，包括X-ray、顯微圖片、B超、CT等，來幫助醫生快速診斷病情，提升醫生的診斷效率。以新冠病毒CT胸片篩查的圖片為例，每名患者的胸片多達數十張，採用計算機視覺進行輔助篩查可以把時間從小時級縮減至秒級。可見計算機視覺已經完成從概念、實驗室到實際部署的轉換。
據多家分析機構統計，2020年計算機視覺在中國地區容量高達753億元，比2019年增長超過120%，遠高於人工智能53%的預期增長率。預計到2022年，CV在中國地區有高達48.2%的年複合增長率。
CV應用挑戰：影像、圖片素材全面進入高清時代，編解碼對計算資源佔用更可觀
隨著互聯網的內容傳播，由傳統的OGC（Occupationally-generatedContent職業生產內容）、轉向互聯網時代更具內容爆發性PGC（Professionally-generated Content 專業生產內容）和UGC（Users-generated Content用戶生產內容）內容即服務的模式。
內容服務商為了提供更高質量的內容媒體，通常會以H.264, JPEG等編碼格式優化網絡互連帶寬和寶貴的存儲空間；一旦要對這些內容藉助AI進行分類、檢測和標註時，數據中心將需要海量的編解碼計算資源。
寒武紀MLU270 DirectCV™讓AI更快地幫您完成內容的CV工作
基於寒武紀MLUv02架構的MLU270系列加速卡的峰值AI計算力達到128TOPs(INT8)，相比第一代MLU100系列提升達4倍。芯片在設計時，將支持H.264和JPEG編解碼格式的硬件加速單元DirectCV™集成到芯片中，為用戶提供解碼+AI+編碼的 “One Stop”解決方案，充分發揮全新MLU270系列加速卡的性能。
- 每條H.264 1080p 30fps視頻流的解碼和AI分析流程中，若CPU參與解碼，CPU、主內存、PCIe通道都會帶來額外的系統開銷
- 雙路Intel® Xeon® Scalable雙路服務器理論最大解碼路數為84路，執行多路解碼時，CPU開銷非常可觀
- DirectCV™可以最小化CPU、主內存和PCIe開銷
MLU270系列集成DirectCV™硬件加速器
計算機視覺通常處理的圖片數據，均以壓縮的方式通過互聯網進行傳輸或保存，常見的圖片壓縮格式JEPG壓縮率為20:1，視頻常見的H.264可達到250:1，HEVC甚至達到300:1以上，這些編碼格式可充分的幫助客戶節約昂貴的網絡帶寬。但AI加速卡只能處理解碼之後的圖片或視頻，在AI計算前勢必要依賴CPU或加速卡本身進行解碼。
寒武紀希望幫助客戶節約寶貴的網絡、PCIe總線帶寬，所以在最新一代基於MLUv02構建的AI加速卡MLU270系列中，集成了DirectCV™硬件加速器。
DirectCV™硬件加速器可以幫助用戶充分卸載計算機視覺應用對CPU的運算壓力，編碼的圖片和視頻文件可以直接通過MLU270智能加速卡進行加速，相比傳統GPU內置的解碼模塊，可以支持更多的解碼模式和更高的性能。
DirectCV™支持JPEG編解碼功能，可直接提供視覺加速，此時功耗在50w左右，性能功耗比高達42ips/w。當MLU270獨立做JPEG解碼時可提供超過2500ips的1920*1080圖片的解碼吞吐能力，此時MLU270-S4整體功耗不超過25w，能效比很高。
DirectCV™進行直接解碼+AI算法時，能效比約39 ips/w；整體性能超過傳統GPU 2倍以上。
Video Decode + ResNet50 inference:
Hardware:NF5280M5 up to 4*MLU270, Intel(R) Xeon® Gold6230 [email protected], Resnet50, batch size=16; MLU270 running on 52wpower consumption.
Video source:jellyfish-3-mbps-hd-h264_9000 (1080P, 9000frames)
Driver:2.2.3,Neuware: 1.2.2, MLU270 Firmware: v1.1.3
作純解碼應用時，可輕鬆幫助用戶構建強大節能的解碼計算平臺，相比GPU具備更高性能。
Video Decode
Hardware:NF5280M5 up to 4*MLU270, Intel(R) Xeon® Gold6230 [email protected]; MLU270 running on 22w power consumption.，Driver:2.2.3, Neuware: 1.2.2,MLU270 Firmware: v1.1.3
DirectCV™在ComputeVision應用中，可以幫助服務器系統節約網絡、計算、總線的負載，輕鬆實現“所見即所得”，經實測在4*MLU270-S4和8*MLU270-S4機型上均可實現線性Scale-up，幫助客戶充分服務器平臺性能，並且保持極高的性能功耗比。
支持DirectCV™的寒武紀雲端加速卡MLU270系列
閱讀更多 寒武紀 的文章
