雷鋒網 AI 研習社按，隨著深度學習的發展，很多技術已經落地，成為我們每天都能接觸到的產品，人臉識別就是其中之一。人臉識別的應用範圍很廣，涉及上下班打卡、門禁、設備登錄、機場、公共區域的監控等多個領域。
我們可以自己訓練定製化的人臉識別模型，但在訓練模型識別圖片或視頻中的人臉之前，最重要的一個步驟是收集人臉數據集。如果使用已經設計好的公開數據集，比如 Labeled Faces in the Wild(LFW)，這時候最難的一部分工作已經完成了，大家可以直接使用各種模型創造自己的人臉識別應用。
但是對於大多數人來說，我們想要識別的並不是目前開源的人臉數據集中的人臉，而是我們自己、朋友、家人、同事等等的臉。為了實現這個目標，我們需要收集自己想要識別的人臉，並按照某種方式處理好它們。這個過程通常被稱為人臉登記，我們將用戶作為一個樣本『登記』或者『註冊』到我們的數據集中。下面會介紹三種方法進行人臉登記，大家可以根據自己的情況選擇最合適的方法。
如何創建定製的人臉識別數據集
首先我將介紹使用 OpenCV 和一顆攝像頭來檢測視頻流中的人臉，並將帶有人臉的圖像幀保存到硬盤上。接下來我會列舉幾種用程序自動從網上下載人臉圖片的方法。最後，我們將討論人工收集圖像，以及在什麼情況下這種方法是合適的。
現在開始構建一個人臉識別數據集吧！
方法 1：通過 OpenCV 和攝像頭登記人臉
該方法適用於：
1. 構建一個某區域內的人臉識別系統
2. 對於目標人臉，能夠找到特定的人並收集他們的人臉圖像
這樣的系統適用於公司、學校或者其他組織，在這裡人們會每天不定時的出現。
為了得到這些人的人臉樣本，我們會在一個房間內放置好電腦和攝像機，通過攝像機捕捉目標人臉在攝像畫面中的人臉信息，將幷包含人臉的圖像幀保存到硬盤中。
收集不同條件下的目標人臉樣本可能會需要幾天或幾周的時間，這樣能使得人臉數據集足夠豐富，很好地表示不同狀態下的人臉，保證訓練出來模型有足夠的魯棒性，收集的人臉包括：
不同亮度下的人臉
-
每天不同時候，不同光線角度下的人臉
不同表情和情緒狀態下的人臉
接下來我們更進一步，寫一個簡單的 Python 腳本來構建人臉識別數據集，這個腳本會做如下工作：
連接並控制攝像頭
檢測人臉
將包含人臉的圖像幀寫入硬盤
打開一個叫 build_face_dataset.py 的 Python 腳本，首先導入一些必要的庫，包括 OpenCV 和 imutils
1 # import the necessary packages
2 from imutils.video import VideoStream
3 import argparse
4 import imutils
5 import time
6 import cv2
7 import os
可以參考這篇文章安裝 OpenCV：
imutils 可以通過 pip 安裝：pip install --upgrade imutils
如果使用的是 Python 虛擬環境，不要忘記使用 workon 命令
現在環境已經配置好了，接下來討論兩個必要的命令行參數：
9 # construct the argument parser and parse the arguments
10 ap = argparse.ArgumentParser
11 ap.add_argument("-c", "--cascade", required=True,
12 help = "path to where the face cascade resides")
13 ap.add_argument("-o", "--output", required=True,
14 help="path to output directory")
15 args = vars(ap.parse_args)
命令行參數可以通過 argparse 庫在運行時解析，這個庫是包含在 Python 安裝中的。
我們有兩個命令行參數：
--cascade：硬盤中的 Haar cascade 文件路徑，用於 OpenCV 檢測人臉
--output：輸出的文件路徑。人臉圖像將會被保存到該路徑中，因此最好按照人名將人臉分類保存，比如將『John Smith』的人臉圖像保存到 dataset/john_smith 的路徑下
接下來加載人臉的 Haar cascade 文件並初始化視頻流：
17 # load OpenCV's Haar cascade for face detection from disk
18 detector = cv2.CascadeClassifier(args["cascade"])
19
20 # initialize the video stream, allow the camera sensor to warm up,
21 # and initialize the total number of example faces written to disk
22 # thus far
23 print("[INFO] starting video stream...")
24 vs = VideoStream(class="lazy" src="//p2.ttnews.xyz/loading.gif" data-original=0).start
25 # vs = VideoStream(usePiCamera=True).start
26 time.sleep(2.0)
27 total = 0
在第 18 行，我們加載了 OpenCV 的 Haar 人臉檢測器 detector。 這個 detector 將會在接下來每幀的循環中檢測人臉；在 24 行會初始化並開啟視頻流 VideoStreem；如果使用的是樹莓派的話，註釋掉第 24 行的代碼，使用第 25 行的代碼；第 26 行讓攝像頭先熱個身，暫停兩秒鐘；這一段代碼也初始化了 total 計數器來表示保存的人臉圖片的數量。
接下來，就開始對視頻流的每幀圖像進行處理：
29 # loop over the frames from the video stream
30 while True:
31 # grab the frame from the threaded video stream, clone it, (just
32 # in case we want to write it to disk), and then resize the frame
33 # so we can apply face detection faster
34 frame = vs.read
35 orig = frame.copy
36 frame = imutils.resize(frame, width=400)
37
38 # detect faces in the grayscale frame
39 rects = detector.detectMultiScale(
40 cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), scaleFactor=1.1,
41 minNeighbors=5, minSize=(30, 30))
42
43 # loop over the face detections and draw them on the frame
44 for (x, y, w, h) in rects:
45 cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
在第 30 行， 開始循環（循環在『q』鍵被按下之後結束）；34-36 行，捕捉一幀畫面：frame，創建一個copy，改變大小。
接下來就是人臉檢測了！
使用 detectMultiScale 方法在每幀畫面中檢測人臉，這個函數需要如下參數：
image：一個灰度圖像
scaleFactor：指定在每個維度圖像尺寸減少的比例
minNeighbor：該參數指定候選的檢測框數量，以保證檢測是有效的
minSize：最小的人臉圖像尺寸
在某些特殊場景下，可能需要精調這些參數以減少 false positive 的數量或提高人臉的檢測率，但是對於一些普通的人臉檢測任務來說，這些參數就可以很好的工作了。
其實也還有一些其他更好的方法檢測人臉，比如在之前的文章中提到過，可以使用預訓練好的深度學習模型來檢測人臉。但是本文裡提到的使用 OpenCV 的方法的優點是無需調參，而且速度非常快。
人臉檢測的結果被保存在一個 rects 的列表中（矩形檢測框）。為了將這些矩形畫在圖像上，在 44、45 行中遍歷所有矩形框，並將他們畫在圖片上。
最後一步就是將檢測框顯示在屏幕上，以及解決按鍵退出的問題：
48 # show the output frame
49 cv2.imshow("Frame", frame)
50 key = cv2.waitKey(1) & 0xFF
51
52 # if the `k` key was pressed, write the *original* frame to disk
53 # so we can later process it and use it for face recognition
54 if key == ord("k"):
55 p = os.path.sep.join([args["output"], "{}.png".format(
56 str(total).zfill(5))])
57 cv2.imwrite(p, orig)
58 total += 1
59
60 # if the `q` key was pressed, break from the loop
61 elif key == ord("q"):
62 break
第 48 行執行將該幀圖像顯示在屏幕上，第 49 行執行捕捉鍵盤指令
『k』、『q』鍵盤指令對應不同的命令：
k：保留該幀圖像並保存到硬盤中（53-56 行），同時增加 total 計數器。對每個想要保存的圖像幀，都需要按『k』來保存。為了能夠更好地訓練模型，最好要保存不同角度、人臉在畫面不同位置、帶/不帶眼鏡的圖像。
q：退出循環，退出腳本
最後，將保存的圖片數量打印到屏幕上，並清空緩存：
64 # print the total faces saved and do a bit of cleanup
65 print("[INFO] {} face images stored".format(total))
66 print("[INFO] cleaning up...")
67 cv2.destroyAllWindows
68 vs.stop
接下來，只需在終端裡運行如下命令就可以了：
$ python build_face_dataset.py --cascade haarcascade_frontalface_default.xml \
--output dataset/adrian
[INFO] starting video stream...
[INFO] 6 face images stored
[INFO] cleaning up...
這裡推薦將每個人的人臉數據保存在數據集下的一個子文件夾內，這樣能夠保證數據集條理清晰，易於管理。
方法 2：使用程序自動下載人臉圖片
在這種場景下，我們並不需要真的找到那個人拍攝圖片，只要他們經常出現在網上，我們能夠在網上找到足夠多的圖片即可，這樣就可以寫腳本，通過各個平臺的 API 下載這些圖片了。
具體使用哪些 API 主要取決於想要收集的人的人臉信息，比如一個人經常在 Twitter 或者 Instagram 上發自拍，那麼我們就可以使用這些平臺的 API 來抓取圖片。
還可以使用 Google 和 Bing 等搜索引擎來抓取：
在這篇博文中，可以找到使用 Google Images 手動或者使用腳本來下載圖片的方法。
另一個更好的方法就是使用 Bing 的圖片搜索 API，這樣能夠全自動下載圖像，具體方法參見這篇博文。
使用 Bing 圖片搜索 API，我們能夠從侏羅紀公園和侏羅紀世界這兩部電影的海報中下載 218 張 Alan Grant 的臉部圖片。下面展示了通過 Bing 圖片搜索 API 下載演員 Owen Grady 的臉部圖片的代碼：
1 $ mkdir dataset/owen_grady
2 $ python search_bing_api.py --query "owen grady" --output dataset/owen_grady
使用這種方法下載幾個人的人臉圖像之後，我們看看整個數據集長什麼樣
1 $ tree jp_dataset --filelimit 10
2 jp_dataset
3 ├── alan_grant [22 entries]
4 ├── claire_dearing [53 entries]
5 ├── ellie_sattler [31 entries]
6 ├── ian_malcolm [41 entries]
7 ├── john_hammond [36 entries]
8 └── owen_grady [35 entries]
9
10 6 directories, 0 files
只要 20 分鐘左右（包括手動挑出錯誤圖像的時間），就能夠做好一個侏羅紀公園的人臉數據集了。
方法 3：手動收集人臉圖像
最後一個方法就是全手動收集人臉數據集，這是最不推薦的方法。這種方法顯然是最繁瑣的，而且需要大量時間。但是在某些特殊情況下，可能不得不使用這些方法。
手動收集的話，通常需要：
使用搜索引擎搜索
圖片分享服務（Google Photos， Flickr，500px 等）
你需要手動將這些結構圖片保存到硬盤上，通常只有需要收集少量圖片的時候才使用這種方法。
總結
在本篇博文中，一共回顧了構建自有人臉數據集的三種方法，具體選擇哪種方法取決於你想要用這個數據集來做什麼。
如果你想要構建一個某一區域內的人臉識別系統，例如用於教室、公司或者其他組織的人臉識別系統，最好的方法是將需要識別的人請到一個房間裡，通過第一種方法在攝像頭的視頻流中收集人臉數據。
如果你想要構建一個包含公眾人物、明星、運動員等的人臉識別系統，那麼可能只能夠在網上收集到他們的圖像。在這種情況下，最好的方法是使用各平臺的 API 自動下載樣本圖片（方法 2）
最後，如果要收集的人並沒有公開社交賬號，或者社交賬號上很少發佈圖片，那就可能需要手動收集並管理數據集了（方法 3）。這種方法顯然是最繁瑣的，但是在某些情況下，可能不得不這樣做。
所有代碼和必要的庫都可以在原博文中下載到，只需填寫你的郵箱地址即可～
via pyimagesearch
雷鋒網 AI 研習社編譯整理雷鋒網
閱讀更多 雷鋒網 的文章
