06.27 開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。姿態估計的任務旨在將RGB圖像或視頻的人像素映射到人體的3D表面。姿態估計是一個多任務任務，並涉及其他幾個問題：物體檢測，姿態估計，分割等。姿態估計的應用包括需要超越簡單地標定位的問題，如圖形，增強現實（AR）或人機交互（HCI）。姿態估計還涉及基於3D的物體識別的許多方面。在這篇文章中，我們分享了幾種開源深度學習模型和代碼進行姿態估計。如果我們遺漏了您認為值得分享的實現，請將其留在下面的評論中。

DensePose

GitHub | 數據集

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。這篇文章的靈感來自Facebook Research，他在上週 早些時候發佈了DensePose的代碼，模型和數據集。Facebook分享了DensePose-COCO，這是一款用於人體姿勢估計的大型地面真實數據集。該數據集由在50K COCO（上下文中的通用對象） 圖像上手動註釋的圖像到表面對應關係組成。這是深度學習研究人員非常全面的資源。它為姿態估計，零件分割等任務提供了良好的數據來源。

DensePose論文提出了DensePose-RCNN，它是Mask-RCNN的一種變體，用於以每秒多幀的速度在每個人類區域內密集迴歸特定部分的UV座標。它基於DenseReg。該模型的目標是確定每個像素的表面位置以及其 所屬部分的相應2D 參數。

DensePose採用Mask-RCNN的體系結構以及特徵金字塔網絡（FPN）功能和ROI對齊池。此外，他們在ROI池中引入全卷積網絡。有關更深入的技術細節，請查閱DensePose論文。

OpenPose

GitHub | 數據集

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。OpenPose是一個實時多人關鍵點檢測庫，用於CMU感知計算實驗室的身體，臉部和手部評估。OpenPose提供二維和三維多人關鍵點檢測，以及用於估計域特定參數的校準工具箱。OpenPose允許各種輸入：圖像，視頻，攝像頭，IP攝像頭等。它還以各種格式生成輸出：圖像和關鍵點（PNG，JPG，AVI），以可讀格式（JSON，XML，YML）保存關鍵點，甚至作為數組類。輸入和輸出參數也可以調整以適應各種需求。

OpenPose提供了C ++ API，可以在CPU和GPU上工作 - 包括與AMD圖形卡兼容的版本。

實時多人姿態估計

GitHub

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。該實現與OpenPose高度相關，並且在各種框架中提供了與實現相關的模型。本文的作者提出 了一種實時多人姿態估計的自下而上方法，而不使用任何人檢測器。該方法使用非參數表示（我們稱之為部分相似性字段（PAF））來學習將身體部位與圖像中的個體相關聯。有關實施和理論的更多技術細節，請參閱論文。這種方法的最大特點之一就是已經在許多不同的框架中實現，並且代碼和模型隨時可用於您的選擇框架：

• OpenPose C ++庫
• TensorFlow實現
• Keras實現一和二
• PyTorch實現一， 二，三
• MXNet實現

AlphaPose

GitHub

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。Alpha Pose 是一個準確的多人姿勢估計器，並聲稱是第一個開源系統。AlphaPose對圖像，視頻或圖像列表執行姿態估計和姿態跟蹤。它產生各種輸出，包括以PNG，JPEG和AVI格式的關鍵點顯示的圖像，以及JSON格式的關鍵點輸出，使其成為更多以應用程序為重點的優秀工具。

目前，有一個TensorFlow實現 和一個PyTorch實現。AlphaPose使用區域多人姿勢估計（RMPE）框架來在存在不準確的人體邊框時促進姿態估計。有三個組成部分：對稱空間變換網絡（SSTN），參數姿態非最大抑制（NMS）和姿態引導建議生成器（PGPG）。有關更多技術細節，請參閱該論文。

人體姿勢估計

網站 | GitHub | 數據集 | ArtTrack紙 | 更深的紙張

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。這個代碼庫提供了一個TensorFlow實現的人體姿態估計算法，在 ArtTrack 和 DeeperCut 論文中介紹。訓練的模型利用MPII人體姿態數據庫，這是豐富的圖像集合，用於評估 明確的人體姿勢估計。這個項目考慮了在現實世界的圖像中多人的關聯人類姿勢估計的任務。他們的方法解決了檢測和姿態估計的任務，這與先前 檢測人員並隨後估計他們的身體姿勢的方法不同。在其實現中使用基於CNN的部分檢測器和 整數線性程序。有關更多技術細節，請參閱 ArtTrack 和 DeeperCut 論文。

DeepPose

開源：深度學習模型和姿態估計代碼開源代碼推薦，人工智能教程（趣說人工智能編譯，來源modelzoo）。DeepPose是從2014年開始的相對較老的論文，提出了一種基於深度神經網絡（DNN）的人體姿態估計方法，該方法被制定為針對身體關節的基於DNN的迴歸問題。它以一種整體的方式推理姿勢，並且具有簡單而強大的表述。DeepPose似乎沒有在線提供官方實施。但是，已經努力複製其結果：

• Chainer實施
• TensorFlow實現

DeepPose很有趣，因為它是人類姿態估計的第一個深度學習應用，並且在開始時達到了最先進的結果，為許多其他更新的實現提供了基準。

姿態估計是計算機視覺社區中日益流行的問題。隨著 Facebook Research 等新型姿態估計數據集（如 DensePose-COCO）的發佈，現在在這方面存在更多工作資源。在我看來，有很多方向可以進行姿態估計，而這些資源的發佈肯定會激起該領域的新興趣。希望很快我們會看到許多新的創新想法和實施。