人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

人臉關鍵點檢測是人臉識別和分析領域中的關鍵一步,它是諸如自動人臉識別、表情分析、三維人臉重建及三維動畫等其它人臉相關問題的前提和突破口。

雖然人臉的結構是確定的,由眉毛、眼睛、鼻子和嘴等部位組成,近似是一個剛體,但由於姿態和表情的變化,不同人的外觀差異,光照,遮擋的影響,準確的檢測處於各種條件下的人臉也是一件相對困難的事情。

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

傳統人臉關鍵點檢測數據庫為室內環境下采集的數據庫,而現階段人臉關鍵點檢測數據庫通常為複雜環境下采集的數據庫。

AFLW 人臉數據庫包含 25993 幅從 Flickr 採集的人臉圖像,每個人臉標定 21 個關鍵點。

COFW 人臉數據庫包含 LFPW 人臉數據庫訓練集中的 845 幅人臉圖像以及其他 500 幅遮擋人臉圖像,而測試集為 507 幅嚴重遮擋(同時包含姿態和表情的變化)的人臉圖像,每個人臉標定 29 個關鍵點。

MVFW 人臉數據庫為多視角人臉數據集,包括 2050 幅訓練人臉圖像和 450 幅測試人臉圖像,每個人臉標定 68 個關鍵點。

Dlib是基於現代C++的一個跨平臺通用的框架,緣起於實現了2014年一篇著名CVPR論文的算法:“用迴歸樹,一毫秒搞定人臉對齊。”每個人臉標定 68 個關鍵點,自從人臉檢測Dlib庫問世,網友們紛紛表示:好用!

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

(Dlib人臉特徵點檢測效果圖)

毋庸置疑,人臉關鍵點越多,檢測就更精準、更貼邊、更能解決關鍵點抖動的問題,滿足更多場景需求。很明顯,我們發現儘管是目前最受歡迎的人臉檢測Dlib,特徵點最多也只是到眉毛處,在額頭區域是沒有分佈特徵點的。

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

(人臉68個特徵點分佈)

於是,最近有個叫做Niko的程序猿,發佈了擁有81個關鍵點,能夠覆蓋額頭區域的面部檢測工具:

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

其主要的工作就是在人臉檢測Dlib庫68個特徵點的基礎上,增加了13個特徵點(共81個) ,把前額也包含在追蹤範圍裡,使得頭部檢測和圖像操作更加精確。

0-67是dlib既有的68個臉部關鍵點;

68-80是程序猿新增的13個前額關鍵點。

程序猿說,他是從Patrick Huber的eos項目 (一個輕量級3DMM) 上,fork出了一個分支,用Surrey人臉模型找到了自己需要的這13個額外的點。然後,用整個ibug大數據庫訓練了模型,拿81點替換了原本的68點。

人臉檢測關鍵點新增至81個,比Dlib更精準、更貼邊

它的訓練方法類似於Dlib的68個面部特徵點形狀預測器。只是在原有的68個特徵點的基礎上,在額頭區域增加了13個點。這就使得頭部的檢測,以及用於需要沿著頭部頂部的點的圖像操作更加精準。


分享到:


相關文章: