TensorFlow 物體檢測API全面升級,快來解鎖新姿勢

TensorFlow 物体检测API全面升级,快来解锁新姿势

「將門×行業龍頭企業創新行」

將門作為一家以技術創新為切入口的早期創新發掘機構,重磅啟動「將門×行業龍頭企業創新行」計劃,邀請各地技術小夥伴們一同走入來自零售、交通、醫療、金融、地產等行業龍頭企業,深入理解AI落地場景,發掘更多AI價值的應用空間。

7月20日(週五)的首站,我“門”將來到全球醫療健康領域的領導者—飛利浦。我們也很榮幸邀請到飛利浦人工智能實驗室總監周子捷博士,屆時他將到場和大家分享“飛利浦人工智能驅動的醫療解決方案”,介紹飛利浦在“人工智能應用於醫療健康”領域的研究方向和創新成果。戳我來報名

來源:Google AI blog 編譯:T.R

自從去年TensorFlow Object Detection API發佈以來,谷歌團隊不斷擴充其性能,除了通過神經架構搜索和實例分割來提高模型的學習能力,還用如Open Images 等不斷出現的新數據集來訓練模型。它在世界範圍內被用於各種各樣的任務中,從城市街頭中的異常行為檢測,到茂密叢林裡的植物識別都有著它的身影。

TensorFlow 物体检测API全面升级,快来解锁新姿势

近日,為了不斷擴充和壯大這一API的能力,谷歌又為目標檢測API進行了升級,最新的能力包括以下幾個方面:

  • 支持通過谷歌雲TPUs來對模型訓練進行加速;

  • 通過加速推理和基於TF-Lite格式的模型導出來提升移動端的部署能力;

  • 加入了很多新的架構,包括:

    • RetinaNet;

    • MobileNet版本的RetinaNet;

    • 新型的SSD架構PoolingPyramidNetwork,縮小了三倍的大小。

同時還給出了每一個模型在coco數據集上的預訓練權重供用戶使用。

TensorFlow 物体检测API全面升级,快来解锁新姿势

通過雲TPUs加速訓練

用戶常常需要在大量的時間去調節一個模型的超參數,如果可以大幅節省訓練時間將十分有意義。所以這次推出的基於SSD架構的模型都針對TPUs進行了優化設計,利用強大的雲服務你可以很快的訓練出符合要求的網絡。舉個例子,希望將基於ResNet-50的RetinaNet在coco數據集上訓練到35%mAP,通過TPUs雲服務只需要不到3個半小時就夠了。

通過量化和TF-Lite加速推理

為了更好的支持移動和嵌入式設備中低延時的需求,其中的模型提供了對於Tensorflow-lite的原生支持,這使得設備端的機器學習模型可以以更小的容量和更低的延時實現良好的表現。除此之外,新API還加入了模型量化以及對於檢測的原生操作。其中模型量化基於Jacob的論文和Krishnamoorthi的白皮書實現。

TensorFlow 物体检测API全面升级,快来解锁新姿势
TensorFlow 物体检测API全面升级,快来解锁新姿势

為了在有限大小下保證性能,工程師們不僅量化了權重,同時對激活也進行了量化,實現了速度(大小)和精度的平衡。下圖展現了優化後的模型在Pixel2的CPU上所測量得到的延時、模型大小和mAP值。可以發現,模型得到了大幅壓縮,速度幾乎提升了一倍(>15fps),而精度只有略微下降。

TensorFlow 物体检测API全面升级,快来解锁新姿势

如果你想上手試試的話,Tensorflow團隊提供了一個詳細的教程。

https://medium.com/tensorflow/training-and-serving-a-realtime-mobile-object-detector-in-30-minutes-with-cloud-tpus-b78971cf1193

通過訓練你甚至可以做出一個檢測家裡小貓小狗的app安裝在自己手機上和朋友們分享。你可以通過colab來完成訓練,或者也可以用為開發者提供的docker來完成開發。

TensorFlow 物体检测API全面升级,快来解锁新姿势

通過手把手的教程你就可以做出一個很有趣的app,最終訓練完成就會看到你的好夥伴被檢測出來啦:

TensorFlow 物体检测API全面升级,快来解锁新姿势

下面是在訓練過程中的主要步驟:

  • 環境搭建(安轉相應的庫和依賴文件,可以使用dockerfile完成一鍵安裝)

  • 雲配置(配置TPUs、存儲服務,基於gcloudgsutil

  • 安裝Tensorflow + Object Detection

  • 配置數據庫(轉換為TFRecoard來加速數據IO)並上傳存儲

  • 使用checkpoint來進行遷移學習加速訓練

  • 在雲端訓練量化模型

  • 導出模型、在移動端上部署並運行。

TensorFlow團隊希望通過更高效的API將高水平的視覺模型帶給更多希望解決檢測問題的人使用,併為用戶提供從模型訓練到移動端部署的順滑體驗。

-The End-

將門是一家專注於發掘、加速並投資技術創新激活商業價值的創業公司的新型創投機構,旗下設有將門創新服務、將門技術社群以及將門投資基金。

將門創新服務專注於使創新的技術落地於真正的應用場景,激活和實現全新的商業價值,服務於行業領先企業和技術創新型創業公司。

將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。

將門投資基金專注於投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在兩年的時間裡,將門投資基金已經投資了包括量化派、碼隆科技、禾賽科技、景馳科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業,不僅想獲得投資,還希望獲得一系列持續性、有價值的投後服務,歡迎發送或者推薦項目給我“門”: [email protected]

TensorFlow 物体检测API全面升级,快来解锁新姿势

點擊右上角,把文章朋友圈

將門創投

讓創新獲得認可!

[email protected]


分享到:


相關文章: