Home - monstercodings/websiphon GitHub Wiki
当初设计这个爬虫框架的原因是公司需要使用爬虫技术获取互联网上公开的数据，虽然scrapy是非常好的选择，但是公司里主要技术栈都是Java，python也不熟悉，于是转而寻找Java版本的开源爬虫框架，但是找到的框架都不太符合当时公司的爬虫需求，所以最终决定自己开发一套灵活、高性能的Java版爬虫框架(每个做开发的同学心里都一个写自己框架的梦对不对) 设计这个框架的时候也参考了一些Github上开源爬虫的思路，融入了scrapy的相关概念，并且借鉴了部分spring以及netty的理念，源码编写中也使用了许多设计模式，然而受自身水平所限，框架里依然存在很多可以改进和优化的地方，我会在未来逐步完善这个框架
<dependency>
<groupId>top.codings</groupId>
<artifactId>websiphon</artifactId>
<version>0.1.36</version>
</dependency>