Python爬虫：关于scrapy、Gerapy等爬虫相关框架和工具

框架名称	作用	地址
scrapy	爬虫框架	https://github.com/scrapy/scrapy
Scrapyd	部署启动、状态监控	https://github.com/scrapy/scrapyd
Scrapyd-Client	简化部署、scrapyd-deploy打包和上传	https://github.com/scrapy/scrapyd-client
Scrapyd-API	通过 Python 控制 Scrapy	https://github.com/djm/python-scrapyd-api
Gerapy	分布式爬虫管理框架	https://github.com/Gerapy/Gerapy

scrapyd API 文档：http://scrapyd.readthedocs.io/en/stable/api.html

参考：
跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！