聲明：本項目旨在學習Scrapy爬蟲框架和MongoDB數據庫，不可使用於商業和個人其他意圖。若使用不當，均由個人承擔。
PornHubBot
PornHubBot項目主要是爬取全球最大的小電影網站PornHub的視頻標題、時長、mp4鏈接、封面URL和具體的PornHub鏈接
項目爬的是PornHub.com，結構簡單，速度飛快
爬取PornHub視頻的速度可以達到500萬/天以上。具體視個人網絡情況,因為我是家庭網絡，所以相對慢一點。
10個線程同時請求，可達到如上速度。若個人網絡環境更好，可啟動更多線程來請求，具體配置方法見 [啟動前配置]
環境、架構
開發語言: Python2.7
開發環境: MacOS系統、4G內存
數據庫: MongoDB
主要使用 scrapy 爬蟲框架
從Cookie池和UA池中隨機抽取一個加入到Spider
start_requests 根據 PorbHub 的分類，啟動了5個Request，同時對五個分類進行爬取。
並支持分頁爬取數據，並加入到待爬隊列。
使用說明
啟動前配置
安裝MongoDB,並啟動，不需要配置
安裝Scrapy
安裝Python的依賴模塊：pymongo、json、requests
根據自己需要修改 Scrapy 中關於 間隔時間、啟動Requests線程數等得配置
啟動
python PornHub/quickstart.py
運行截圖
數據庫說明
數據庫中保存數據的表是 PhRes。以下是字段說明:
PhRes 表：
video_title:視頻的標題,並作為唯一標識.
link_url:視頻調轉到PornHub的鏈接
image_url:視頻的封面鏈接
video_duration:視頻的時長，以 s 為單位
quality_480p: 視頻480p的 mp4 下載地址
代碼：GitHub：xiyouMc/WebHubBot
需要源碼+資料的關注，轉發，私信“01”即可獲取！
閱讀更多 半生流離Python 的文章
