Scrapy - WinDaLex/windalex.github.io GitHub Wiki

Scrapy 是一个能够抓取网站、提取结构化数据的 Python 应用程序框架，能够用在非常广泛的领域，例如数据采集、信息加工或历史档案。

即使 Scrapy 起初是为了抓取网页而设计的，你还是可以用它来利用 API （例如 Amazon Associates Web Services）提取数据或者作一个一般的、有目标的网络爬虫程序。

References