挖掘高颜值美女-Java Jsoup实现自动化图片抓取、颜值评分

1.数据来源

来自某网站

2.抓取图片、人脸识别

使用Jsoup包获取、解析网络图片,使用百度ApiFace来做人脸检测和颜值分析(百度目前是免费使用,其他平台也可以使用)

3.人脸检测过滤条件

过滤所有未出现人脸图片

过滤所有非女性

过滤所有非真实人物

过滤所有颜值评分较低图片(默认大于50,审美标识因人而异)

4.逻辑实现

找某个美女云集的网站,分析图片列表、分页

使用JSOUP解析并获取图片的URL

通过AipFace,实现人脸检测[核心],并按照过滤条件,保存符合条件的图片到本地

5.核心代码列表如图:

挖掘高颜值美女-Java Jsoup实现自动化图片抓取、颜值评分

核心代码

6.结果如图

挖掘高颜值美女-Java Jsoup实现自动化图片抓取、颜值评分

高颜值检测结果

7.总结

使用爬虫抓数据时,注意不要启用太多线程,默认1到2个并发,频率不要太快,几秒一张也行,不要把人家的网站给搞垮。否则要负法律责任的,最近爬虫风声鹤唳。使用百度ApiFace来做人脸检测和颜值分析主要时因为免费,你也可以使用其他平台。部分敏感的图片,可能ApiFace会进行过滤。

注意:代码比较多,需要的私信联系我


分享到:


相關文章: