Home - wolftankk/spyder GitHub Wiki
Spyder采用Python所写的一套高效的采集系统. 其内置了web配置页面.
依赖
- lxml
- httplib2 (七牛云储存需要)
- mysql for python
- flask
- jinja2
支持采集的页面类型
根据大家的需求, 国内网站大致有集中类型: 文章, 列表类型, 图库类型. 本套系统内部会根据你所选取的类型, 根据类型的特征采集相应的数据.
特征
1 支持Hook脚本 2 支持不同的发布接口 3 支持图片上传到CDN