爱享影视
其实Python做爬虫的开源项目还挺多的，列举几个供你参考。
Crawlab
技术：Golang + Vue
有点：不局限于 scrapy，可以运行任何语言和框架的爬虫，精美的 UI 界面，天然支持分布式爬虫，支持节点管理、爬虫管理、任务管理、定时任务、结果导出、数据统计、消息通知、可配置爬虫、在线编辑代码等功能
缺点：暂时不支持爬虫版本管理
评分：14.2K
Scrapydweb
技术：Python Flask + Vue
优点：精美的 UI 界面，内置了 scrapy 日志解析器，有较多任务运行统计图表，支持节点管理、定时任务、邮件提醒、移动界面，算是 scrapy-based 中功能完善的爬虫管理平台
缺点：不支持 scrapy 以外的爬虫，Python Flask 为后端，性能上有一定局限性
评分：1.2K
Gerapy
技术：Python Django + Vue
优点：Gerapy 是崔庆才大神开发的爬虫管理平台，安装部署非常简单，同样基于 scrapyd，有精美的 UI 界面，支持节点管理、代码编辑、可配置规则等功能
缺点：同样不支持 scrapy 以外的爬虫，而且据使用者反馈，1.0 版本有很多 bug，期待 2.0 版本会有一定程度的改进
评分：1.9K
SpiderKeeper
技术：Python Flask
优点：基于 scrapyd，开源版 Scrapyhub，非常简洁的 UI 界面，支持定时任务
缺点：可能有些过于简洁了，不支持分页，不支持节点管理，不支持 scrapy 以外的爬虫
评分：2.9K
Awesome-Spider
这里面收集了很多现成的爬虫。最后请良性的使用爬虫技术，技术是无辜的，它没有辨别能力的。斟酌使用！
如果你觉得对你有帮助，或还有其它想了解，欢迎留言关注@杰森梦想家。
杰森梦想家
我手上有py重构的系统，但是还不能开源。
分享到:
