Scrapy 是用 Python 实现的爬虫应用框架,Scrapy 经常被应用在数据挖掘、信息处理等方面。
借助 Scrapy 框架,只需编写很少的代码,即可实现一个爬虫,从而提取某个网站或者某组网站的相关格式化的数据。
Scrapy 最初是为了页面抓取所设计的,但是也可以应用在获取 API 所返回的数据(例如Amazon Associates Web Services)。作为通用的网络爬虫,其具有以下特点使用简单、功能强大、易于扩展,速度快、支持 Windows、Linux、macOS 多个平台等特点。