Spyder采用Python所写的一套高效的采集系统. 其内置了web配置页面.

依赖

• lxml
• httplib2 (七牛云储存需要)
• mysql for python
• flask
• jinja2

支持采集的页面类型

根据大家的需求, 国内网站大致有集中类型: 文章, 列表类型, 图库类型. 本套系统内部会根据你所选取的类型, 根据类型的特征采集相应的数据.

特征

1 支持Hook脚本 2 支持不同的发布接口 3 支持图片上传到CDN