愛享影視
其實Python做爬蟲的開源項目還挺多的，列舉幾個供你參考。
Crawlab
技術：Golang + Vue
有點：不侷限於 scrapy，可以運行任何語言和框架的爬蟲，精美的 UI 界面，天然支持分佈式爬蟲，支持節點管理、爬蟲管理、任務管理、定時任務、結果導出、數據統計、消息通知、可配置爬蟲、在線編輯代碼等功能
缺點：暫時不支持爬蟲版本管理
評分：14.2K
Scrapydweb
技術：Python Flask + Vue
優點：精美的 UI 界面，內置了 scrapy 日誌解析器，有較多任務運行統計圖表，支持節點管理、定時任務、郵件提醒、移動界面，算是 scrapy-based 中功能完善的爬蟲管理平臺
缺點：不支持 scrapy 以外的爬蟲，Python Flask 為後端，性能上有一定侷限性
評分：1.2K
Gerapy
技術：Python Django + Vue
優點：Gerapy 是崔慶才大神開發的爬蟲管理平臺，安裝部署非常簡單，同樣基於 scrapyd，有精美的 UI 界面，支持節點管理、代碼編輯、可配置規則等功能
缺點：同樣不支持 scrapy 以外的爬蟲，而且據使用者反饋，1.0 版本有很多 bug，期待 2.0 版本會有一定程度的改進
評分：1.9K
SpiderKeeper
技術：Python Flask
優點：基於 scrapyd，開源版 Scrapyhub，非常簡潔的 UI 界面，支持定時任務
缺點：可能有些過於簡潔了，不支持分頁，不支持節點管理，不支持 scrapy 以外的爬蟲
評分：2.9K
Awesome-Spider
這裡面收集了很多現成的爬蟲。最後請良性的使用爬蟲技術，技術是無辜的，它沒有辨別能力的。斟酌使用！
如果你覺得對你有幫助，或還有其它想了解，歡迎留言關注@傑森夢想家。
傑森夢想家
我手上有py重構的系統，但是還不能開源。
分享到:
