百度360必应搜狗淘宝本站头条
框架图cad怎么画框架grpc框架flask框架scrapy框架
当前位置：网站首页 > 技术文章 > 正文

从零开始学python爬虫(九):爬虫框架scrapy的概念和流程

ccwgpt 2024-09-27 07:28 101 浏览 0 评论

学习目标：

  1. 了解 scrapy的概念
  2. 了解 scrapy框架的作用
  3. 掌握 scrapy框架的运行流程
  4. 掌握 scrapy中每个模块的作用

1. scrapy的概念

Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。

Scrapy 使用了Twisted['tw?st?d]异步网络框架，可以加快我们的下载速度。 Scrapy文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

2. scrapy框架的作用

少量的代码，就能够快速的抓取

3. scrapy的工作流程

3.1 回顾之前的爬虫流程


3.2 上面的流程可以改写为


?

3.3 scrapy的流程

?

其流程可以描述如下：

  1. 爬虫中起始的url构造成request对象-->爬虫中间件-->引擎-->调度器
  2. 调度器把request-->引擎-->下载中间件--->下载器
  3. 下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫
  4. 爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2
  5. 爬虫提取数据--->引擎--->管道处理和保存数据

注意：

  • 图中中文是为了方便理解后加上去的
  • 图中绿色线条的表示数据的传递
  • 注意图中中间件的位置，决定了其作用
  • 注意其中引擎的位置，所有的模块之前相互独立，只和引擎进行交互

3.4 scrapy的三个内置对象

  • request请求对象：由url method post_data headers等构成
  • response响应对象：由url body status headers等构成
  • item数据对象：本质是个字典

3.5 scrapy中每个模块的具体作用

?


注意：

  • 爬虫中间件和下载中间件只是运行逻辑的位置不同，作用是重复的：如替换UA等

小结

  1. scrapy的概念：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架
  2. scrapy框架的运行流程以及数据传递过程：
  3. 爬虫中起始的url构造成request对象-->爬虫中间件-->引擎-->调度器
  4. 调度器把request-->引擎-->下载中间件--->下载器
  5. 下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫
  6. 爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2
  7. 爬虫提取数据--->引擎--->管道处理和保存数据

3.scrapy框架的作用：通过少量代码实现快速抓取

4.掌握scrapy中每个模块的作用： 引擎(engine)：负责数据和信号在不腰痛模块间的传递 调度器(scheduler)：实现一个队列，存放引擎发过来的request请求对象 下载器(downloader)：发送引擎发过来的request请求，获取响应，并将响应交给引擎 爬虫(spider)：处理引擎发过来的response，提取数据，提取url，并交给引擎 管道(pipeline)：处理引擎传递过来的数据，比如存储 下载中间件(downloader middleware)：可以自定义的下载扩展，比如设置代理ip 爬虫中间件(spider middleware)：可以自定义request请求和进行response过滤，与下载中间件作用重复

相关推荐

css布局方案汇总(28个实例图文并茂)

简介布局在我们前端日常开发来说是非常重要的，一个好的布局能简化代码的同时还能提高网页的性能。常见的布局方法有浮动(float)布局、绝对定位(position)布局、表格布局(table)、弹性(fl...

十款免费的CSS框架加速Web开发

Pure这是Yahoo最新推出的一款CSS框架，它只有HTML和CSS，没有使用任何JavaScript语言。总大小只有4.4kb，但功能却非常丰富，支持响应式样式和各种导航、表格、表单、按钮、网格和...

Tailwind CSS 是不是目前世上最好的CSS框架?

转载说明：原创不易，未经授权，谢绝任何形式的转载今天看了一篇国外大佬对TailwindCSS的看法，在这里分享给大家，看看大家是否赞同，以下是其相关内容的整理，由于翻译水平有限，欢迎大家讨论和指...

下一代 CSS 框架:Mojo CSS，为何如此受欢迎?

TailwindCSS推出即受到广大开发者的欢迎，当前Githubstar数已达77.8k。它是一个功能类优先（utility-first）的CSS框架，它提供了一系列功能类，让开发者...

常见的几种摄影构图方式

摄影构图，是一种在摄影画面中表现结构美、形式美的方式。构图能让摄影主体更加突出，画面更加有序。所以说，构图在摄影中是非常重要的一个环节。无论是前期构图还是后期构图，摄影者都要对构图有一个比较深的了解。...

风光摄影10大构图技巧，会用构图，照片更容易好看

风光摄影10大构图技巧，会用构图，照片更容易好看先解释一下，为什么会使用构图之后，照片更容易好看？因为，构图是根据很多好看的照片，总结出来的技巧，使用这些构图技巧，就相当于站在了巨人的肩膀上，也就是用...

掌握框式构图的摄影技巧，会让摄影爱好者的作品更有魅力!

很多摄影爱好者都知道摄影构图中有个框式构图，但大多数人对框式构图的摄影技巧，却一知半解。所以摄影爱好者们有必要更全面、深入的了解，并掌握框式构图，会对你摄影水平的提高更有帮助。【欢迎点击上方关注：金立...

这个构图很简洁，但为什么不耐看?

摄影爱好者最常犯的错就是过于复杂、主体不明确，但当遇到简单的场景往往又会出现单调、不耐看的状况。为什么会这样？说白了还是观察力不够。下面是本周的摄影入围习作，我们一起来看看这些照片中主体、陪体以及背景...

初学者需要记牢的八种常用构图法

作者：冯海军摄影中，构图很关键，决定照片是否成功，所以在构图上要加以重视和推敲，虽然说构图无定法，但是也有很多的规律可循，以下列举几种常用构图，会对初学者有很大的帮助。多彩刘卫洲摄苏州姑苏俱乐部（...

构图这件事不难!掌握14种构图模式就稳了

如果说视觉元素是视觉信息的载体，那么构图就是视觉元素的载体。没有适当形式的构图对视觉元素有机、有序地承载，平面设计将无法传达预定的设计意图和视觉信息。因此，对于平面设计而言，构图是平面设计不可或缺的重...

框架构图如何使用?

1分钟教你用手机拍大片。今天我们利用框架构图，在不同的运镜方法下拍摄。·首先将手机贴近地面，拍摄人物走过的画面。·然后利用3D效果的背景衬托，将手机贴近地面，以低角度仰拍人物。·最后我们用高清画质来呈...

面构图的5种超实用的构图形式 前景构图，框架构图，填充构图

面构图的5种超实用的构图形式。为什么有的人拍摄的照片好看又舒适？仔细观察会发现他们善用构图。大家好，今天带大家了解摄影中5种超实用的面构图形式。·一、前景构图。前景是构图中的神奇要素，可以提升照片的表...

一看就懂!跟着马格南的大师学构图

马格南图片社是迄今为止全球最重要的摄影图片社，其网站包涵了太多经典的名字和照片。细细品味这些经典图片，能够学到很多有用的构图手法。跟着大师走，总不会错吧？前后景的运用这似乎是非常常见的一种手法，仔细看...

这才是框架构图，有想法!能给你启发么?

框架构图大家并不陌生，但并不是有一个框就行了。框架构图用得不好，就很死板生硬，给人感觉很假。如果你理解透了，拍出的作品不会单调。今天就给大家分享一下框架构图，你看看有哪些妙用？1.广角与长焦的应用长焦...

7B小模型写好学术论文，新框架告别AI引用幻觉

ScholarCopilot团队投稿量子位|公众号QbitAI学术写作通常需要花费大量精力查询文献引用，而以ChatGPT、GPT-4等为代表的通用大语言模型（LLM）虽然能够生成流畅文本，但...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表