您当前的位置:首页 > 计算机 > 编程开发 > Python

Python Scrapy爬虫框架

时间:10-01来源:作者:点击数:

Scrapy 是用 Python 实现的爬虫应用框架,Scrapy 经常被应用在数据挖掘、信息处理等方面。

借助 Scrapy 框架,只需编写很少的代码,即可实现一个爬虫,从而提取某个网站或者某组网站的相关格式化的数据。

Scrapy 最初是为了页面抓取所设计的,但是也可以应用在获取 API 所返回的数据(例如Amazon Associates Web Services)。作为通用的网络爬虫,其具有以下特点使用简单、功能强大、易于扩展,速度快、支持 Windows、Linux、macOS 多个平台等特点。

本章内容:
1.Scrapy安装(针对不同平台)
2.网络爬虫的工作原理
3.Python编写一个简单的爬虫
4.Scrapy框架的运行流程
5.Scrapy Spider类的用法
6.Scrapy selector选择器用法详解
7.Scrapy配置项用法详解
8.Scrapy命令行用法精讲
方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门