这是我的个人小站,当然,还有杜比。

python scrapy源码分析(一)

python shimeng 208浏览 0评论

Scrapy源码分析系列(一)

转自:here

架构概览

在爬虫领域,使用最多的主流语言主要是Java和Python这两种,而开源爬虫框架Scrapy正是由Python编写的。

Scrapy在开源爬虫框架中名声很大,几乎用Python写爬虫的人,都用过这个框架。市场上很多爬虫框架都是模仿和参考Scrapy的思想和架构实现的,如果想深入学习爬虫,研读Scrapy的源码还是很有必要的。

这个系列的文章主要记录自己当时做爬虫时,读源码的思路和经验整理,本篇先从宏观角度介绍整个Scrapy的架构和运行流程。

1.介绍

Scrapy是一个基于Python编写的一个开源爬虫框架,它可以帮你快速、简单的方式构建爬虫,并从网站上提取你所需要的数据。

也就是说,使用Scrapy能帮你快速简单的编写一个爬虫,用来抓取网站数据。

这里不再介绍Scrapy的安装和使用,本系列主要通过阅读源码讲解Scrapy实现思路为主。如果有不懂如何使用的同学,请参考官方网站或官方文档学习。
因为使用比较简单,使用Scrapy官网上的例子来说明如何构建爬虫:

简单来说构建和运行一个爬虫只需完成以下几步:
– 使用scrapy startproject创建爬虫模板或自己编写爬虫脚本
– 爬虫类继承scrapy.Spider,重写parse方法
– parse方法中yield或return字典、Request、Item
– 使用scrapy crawl spider_name 或scrapy runspider spider_file.py运行
经过简单的几行代码,就能采集到某个网站下一些页面的数据,非常方便。
但是在这背后到底发生了什么?Scrapy到底是如何帮助我们工作的呢?

2.架构

2.1 架构图:

2.2 核心组件

Scrapy有以下几大组件:
– Scrapy Engine:核心引擎,负责控制和调度各个组件,保证数据流转;
– Scheduler:负责管理任务、过滤任务、输出任务的调度器,存储、去重任务都在此控制;
– Downloader:下载器,负责在网络上下载网页数据,输入待下载URL,输出下载结果;
– Spiders:用户自己编写的爬虫脚本,可自定义抓取意图;
– Item Pipeline:负责输出结构化数据,可自定义输出位置;
除此之外,还有两大中间件组件:
– Downloader middlewares:介于引擎和下载器之间,可以在网页在下载前、后进行逻辑处理;
– Spider middlewares:介于引擎和爬虫之间,可以在调用爬虫输入下载结果和输出请求/数据时进行逻辑处理;

3.数据流转

按照架构图的序号,数据流转大概是这样的:
– 1.引擎从自定义爬虫中获取初始化请求(也叫种子URL);
– 2.引擎把该请求放入调度器中,同时引擎向调度器获取一个待下载的请求(这两部是异步执行的);
– 3.调度器返回给引擎一个待下载的请求;
– 4.引擎发送请求给下载器,中间会经过一系列下载器中间件;
– 5.这个请求通过下载器下载完成后,生成一个响应对象,返回给引擎,这中间会再次经过一系列下载器中间件;
– 6.引擎接收到下载返回的响应对象后,然后发送给爬虫,执行自定义爬虫逻辑,中间会经过一系列爬虫中间件;
– 7.爬虫执行对应的回调方法,处理这个响应,完成用户逻辑后,会生成结果对象或新的请求对象给引擎,再次经过一系列爬虫中间件;
– 8.引擎把爬虫返回的结果对象交由结果处理器处理,把新的请求对象通过引擎再交给调度器;
– 9.从1开始重复执行,直到调度器中没有新的请求处理;

3.1 核心组件交互图

我在读完源码后,整理出一个更详细的架构图,其中展示了更多相关组件的细节:

这里需要说明一下图中的Scrapyer,其实这也是在源码的一个核心类,但官方架构图中没有展示出来,这个类其实是处于Engine、Spiders、Pipeline之间,是连通这3个组件的桥梁,后面在文章中会具体讲解。

3.2 核心类图

涉及到的一些核心类如下:

其中标没有样式的黑色文字是类的核心属性,黄色样式的文字都是核心方法。
可以看到,Scrapy的核心类,其实主要包含5大组件、4大中间件管理器、爬虫类和爬虫管理器、请求、响应对象和数据解析类这几大块。

转载请注明:Show Me Code » python scrapy源码分析(一)

喜欢 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址