最近剛剛完結的大熱女團選秀節目《創造101》，你們有看嗎？
從《中國有嘻哈》、《這就是街舞》到《偶像練習生》，近年選秀節目百花齊放，讓每個一開始說不想看的人，看完節目都pick了好幾個小哥哥。而《創造101》的開始，讓廣（kuai）大（le）群（fei）眾（zhai）也可以pick漂亮小姐姐了。
雖然娛樂綜藝只是消遣，但嚴格的小編，還是非常關注這些熱門小姐姐的實力如何。雖然唱歌可以後期修音，但是，舞蹈不能修吧…為了避免個人喜好和個人情緒，我們是不是可以另闢蹊徑，讓人工智能成為我們的眼睛，客觀的評價小姐姐們的舞蹈實力呢？
所以這一次，小編要讓AI坐上評委席，為小姐姐的舞技打打分。為了客觀，我們選擇《創造101》每個選手都跳過的主題曲舞蹈為樣本，只需以下三個步驟就能得到小姐姐們的評分啦。
第一步：基於人體姿態圖像，獲取關節點
小編採用2017年CMU的開源工程openpose，基於小姐姐的舞姿，獲得關節點位置信息。
現有的一些深度學習算法主要採用兩個步驟，person-detect和single-person pose estimation，這些top-down的方法很依賴上述兩個部分的準確性，一旦出現人數眾多或出現重疊時，就會產生較大的誤差。
作者另闢蹊徑，用一種新的深度學習模型，來解決姿態估計準確性問題以及多人同時出現的實時性問題。該模型將分別預測兩個部分，分別是人體每個關節點位置，以及關節間相似度的向量場，流程圖如下：
輸入圖像，利用VGG16提取圖像特徵，最後同時預測出confidence map和affinity fields。每個分支都是一個迭代預測結構，一共有t個stage，每個stage都加入了中間監督。模型算法示意圖如下。
根據模型預測出來的confidence map和affinity fields，藉助非極大值抑制算法，將關節點位置迴歸問題轉換為一個簡單的優化問題，即可將我們預測出來的關節點一一聯繫起來，分割出不同的人和不同的關節點。
小編選擇長期排名第一的孟美岐在主題曲中的舞蹈動作作為樣本，根據以上算法，即可獲得最終的效果，並且達到實時預測的目的。通過前述算法，我們得到了孟美岐的關節點。
孟美岐舞蹈關節點動態示意圖
第二步：計算關節夾角，準確定位動作
雖然每個人由於身高等因素關節到關節的位置長度會有所不同，但定位舞蹈中動作是否標準，使用關節的夾角即可判斷動作是否到位。我們選擇了5個關節夾角，請看靈魂畫手示意圖：
其中，角度1和角度3表示左右手臂與身體的夾角；角度2和角度4表示左右大臂與左右小臂的夾角；角度5表示左右大腿的夾角。
由於舞蹈是時間段內連續的動作，所以孟美岐的主題曲舞蹈，就轉換成了5段夾角的波形圖：
第三步：對比波形圖差異，根據規則計分
重複上述同樣的方法，我們得到了選手們的關節點定位信息。在這裡，小編就選擇四位熱門選手作為代表來展示：
突破大眾對女團審美的王菊
“綜藝擔”高秋梓
排名靠前但屢受質疑的楊超越
因為愛哭引起關注的朱天天
以下是分析上述四人動作產生的關節夾角波形圖——
評分規則：以孟美岐的波形圖為評判標準，考慮不同時刻下，各個組員的每個關節角度相較於標準的誤差值。這樣，主題曲一整段3分鐘視頻共5400幀，誤差值可以充分表達動作的完成度以及節奏感。
採用標準為100分，依據上述規則打分，接下來讓我們來看看結果：
王菊得分76.98
不愧是老江湖，還是有實力啊！
高秋梓得分67.37
雖然微胖，還是非常靈活滴。
楊超越得分43.35
已經很努力了，但還有很大空間！
朱天天得分36.78
是因為用力過猛嗎？
這可是經過AI分析的客觀評價喲！雖然似乎和她們的排名不盡相同，不知道是否符合你心中的預期？
嗨，你好，我是王秋心，一個熱愛生活的科技控，歡迎關注轉發收藏評論點贊喲~~~
閱讀更多 AI和ai 的文章
