項目下載地址：
https://github.com/Kevin-zhou/AI.git
1 數據源知乎 話題『美女』下所有問題中回答所出現的圖片
2 抓取工具Python
6 實現邏輯通過 Requests 發起 HTTP 請求，獲取『美女』下的部分討論列表通過 lxml 解析抓取到的每個討論中 HTML，獲取其中所有的 img 標籤相應的 src 屬性通過 Requests 發起 HTTP 請求，下載 src 屬性指向圖片（不考慮動圖）通過 AipFace 請求對圖片進行人臉檢測判斷是否檢測到人臉，並使用 『4 檢測過濾條件』過濾將過濾後的圖片持久化到本地文件系統，文件名為 顏值 + 作者 + 問題名 + 序號返回第一步，繼續
7 抓取結果 直接存放在文件夾中
8 運行準備
安裝 Python 3，Download Python
安裝 requests、lxml、 baidu-aip 庫，都可以通過 pip 安裝，一行命令
核心代碼：
# http://code.py40.com/42.html
2
3 import re
4 import os
5 import requests
6 import time
7
8 global PhotoNum
9 PhotoNum = 0
10 PWD = "E:/Python/ai2018-3-12/huaban/"
11 head = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
12 TimeOut = 30
13
14 url = "http://huaban.com/favorite/beauty/"
15 url_image = "http://hbimg.b0.upaiyun.com/"
16 urlNext = "http://huaban.com/favorite/beauty/?iqkxaeyv&limit=20&wfl=1&max="
17
18
19 def downfile(file, url):
20 print("開始下載：", file, url)
21 try:
22 r = requests.get(url, stream=True)
23 with open(file, 'wb') as fd:
24 for chunk in r.iter_content():
25 fd.write(chunk)
26 except Exception as e:
27 print("下載失敗了", e)
28
29
30 def requestpageText(url):
31 try:
32 Page = requests.session().get(url, headers=head, timeout=TimeOut)
33 Page.encoding = "utf-8"
34 return Page.text
35 except Exception as e:
36 print("聯網失敗了...重試中", e)
37 time.sleep(5)
38 print("暫停結束")
39 requestpageText(url)
40
41
42 def requestUrl(url):
43 global PhotoNum
44 print("*******************************************************************")
45 print("請求網址：", url)
46 text = requestpageText(url)
47 pattern = re.compile('{"pin_id":(\d*?),.*?"key":"(.*?)",.*?"like_count":(\d*?),.*?"repin_count":(\d*?),.*?}', re.S)
48 items = re.findall(pattern, text)
49 print(items)
50 max_pin_id = 0
51 for item in items:
52 max_pin_id = item[0]
53 x_key = item[1]
54 x_like_count = int(item[2])
55 x_repin_count = int(item[3])
56 if (x_repin_count > 10 and x_like_count > 10) or x_repin_count > 100 or x_like_count > 20:
57 print("開始下載第{0}張圖片".format(PhotoNum))
58 url_item = url_image + x_key
59 filename = PWD + str(max_pin_id) + ".jpg"
60 if os.path.isfile(filename):
61 print("文件存在：", filename)
62 continue
63
64 downfile(filename, url_item)
65 PhotoNum += 1
66 requestUrl(urlNext + max_pin_id)
67
68
69 if not os.path.exists(PWD):
70 os.makedirs(PWD)
71 requestUrl(url)
閱讀更多 Python樂園 的文章
