論文:《Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields》
- Bottom-up方法：先檢測出所有關鍵點，再將關鍵點回歸進對應的人中
1、模型：
1）整體的框架圖：
圖1.這篇文章先使用VGG19的前十個層獲得圖片的特徵，再將其輸入後面的模塊進行優化。一個stage中包含兩個分支，一個分支用於迴歸關鍵點，另一個則迴歸關鍵點之間的鏈接。第一個stage的輸入數據為VGG前十層得到的特徵，而隨後的stage的輸入數據為前一個stage的輸出和特徵。
2）模型細節：
- VGG-19:使用VGG-19前十層對圖片提取特徵F
- stage1:
- branch1:迴歸人臺關鍵點位置，S=(S1,S2,...,SJ),人體的J個部位，Sj表示h'*w'個pixel中每個像素屬於人體第j個部位的可能性
- branch2:迴歸關鍵點之間的鏈接，L=(L1,L2,...,LC),人體的C個向量場，即人體的C個鏈接，Lc由一個h'*w'*2的表示位置和方向的map表示。
- stage>=2:
模塊輸入數據:特徵F和上一個stage輸出的S,L，如下
2、損失函數：
1）公式細節
其中，Sjt(p)和Lct(p)是stage兩個分支的輸出，關於人體關鍵點和鏈接的預測。Sj(p)和Lc(p)是由已知的數據標籤生成的人體關鍵點位置和鏈接的groundtruth, W(p)是一個binary mask，當缺失position p的註釋信息時，W(p)=0
2）整體的損失函數為：
3）groundtruth的生成：
- 3.1）Confidence Maps for Part Detection Sj(p)
根據已知的第k個人的第j個部位關鍵點位置Xj,k,僅僅是一個點，以高斯擴散的方式生成一個範圍，如下公式
其中，p為位置p,Xj,k為第k個人的第j個部位關鍵點位置,上式中，p與x的距離越近S的值就越大，像這樣
以最大值的方式融合多個人的多個部位，得到最終的groundtruth
- 3.2）Part Affinity Fields for Part Association
- 根據已知的關鍵點位置計算鏈接的包含位置和方向信息的groundtruth
- 計算公式如下：若位置點p在第k個人的第c的limb上，則Lck(p)的值為v,若p不在該limb上，則值為0
其中：v為該人j1到j2部位的單位向量，
是v垂直方向上的單位向量，計算公式如下
判斷p是否在limb上的依據為，p點到j1,j2關鍵點的位置的距離在一定閾值內
- 融合多個人的部位進一個圖片，如果出現一個點p，同時存在於兩個人的同一部位，則取平均值
其中nc(P)是所有k個人在點p處的非零向量數(即在不同人的肢體重疊的像素處的平均值)。
- 最終示意圖：
3、如何判斷兩個關鍵點間存在鏈接的可能性E
- 對於任意兩個檢測到的關鍵點，dj1,dj2,在兩點連成的直線上均勻採樣得到p(u）點，若p點在limb c上，則Lc(p)=v，否則為0.則E越大，dj1,dj2兩個關鍵點間存在鏈接的可能性越大。
- 非最大值抑制過濾邊
4、獲得不同部位兩兩的配對
- Results on the MPII MultiPerson Dataset
- maximum weight bipartite graph matching problem
- http://www.csie.ntnu.edu.tw/~u91029/Matching.html
實現優化函數：
Z(m,n,j1,j2)：j1部位第m個候選點和j2部位第n個候選點之間是否存在鏈接。
Emn：m和n之間存在鏈接的可能性大小，可看做該邊的權重
條件約束表示：保證一個點僅僅對應一條邊
- 這樣便可以得到圖6（d）這樣的結果
5、融合共享的關鍵點得到最終的人體關鍵點結果
- 將圖6-d中相同部位的鏈接融合便可以得到最終的人體的關鍵點
閱讀更多 AI深度學習求索 的文章
