手把手教你如何新建scrapy爬虫框架的第一个项目(上)
ccwgpt 2024-09-27 07:29 141 浏览 0 评论
前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy，还有Scrapy安装过程中常见的问题总结及其对应的解决方法，感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍，之前也在文章中提及过，今天小编带大家进入Scrapy爬虫框架，创建Scrapy爬虫框架的第一个项目，具体过程如下所示。
1、进入虚拟环境，不知道进入的环境的小伙伴可以戳这篇文章：在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境（默认情况下）。进入到环境之后可以通过“pip list”命令查看Scrapy是否安装成功，如下图所示。
可以看到Scrapy已经安装成功。
2、这里小编欲将Scrapy项目放到demo文件夹下，所以先退回到上级目录中去，如下图所示。
3、尔后开始新建Scrapy项目，输入创建Scrapy爬虫项目命令“scrapy startproject article”，其中article是爬虫项目的名称，可以自行更改的。输入创建命令之后，稍等片刻，系统会根据模板进行创建项目，模板所在的目录是“D:\pythonDemo\2018\September\demo\scrapy_demo\Lib\site-packages\scrapy\templates\project”，与你的爬虫环境相关，如下图所示，等待项目创建完成。当然我们可以自定义爬虫模板，不过目前来看，Scrapy爬虫框架提供的模板够我们用的了，我们能把Scrapy搞明白也就可以了。
4、根据上图提示，首先进入到article文件夹下，输入命令“cd article”，之后通过“dir”查看目录，也可以通过“tree /f”生成文件目录的树形结构，如下图所示，可以很清晰的看到Scrapy创建命令生成的文件。
顶层的article文件夹是项目名。
第二层中包含的是一个与项目名同名的文件夹article和一个文件scrapy.cfg，这个与项目同名的文件夹article是一个模块，所有的项目代码都在这个模块内添加，而scrapy.cfg文件是整个Scrapy项目的配置文件。
第三层中有5个文件和一个文件夹，其中__init__.py是个空文件，作用是将其上级目录变成一个模块；items.py是定义储对象的文件，决定爬取哪些项目；middlewares.py文件是中间件，一般不用进行修改，主要负责相关组件之间的请求与响应；pipelines.py是管道文件，决定爬取后的数据如何进行处理和存储；settings.py是项目的设置文件，设置项目管道数据的处理方法、爬虫频率、表名等；spiders文件夹中放置的是爬虫主体文件（用于实现爬虫逻辑）和一个__init__.py空文件。
5、在Windows文件夹下也可以很清晰的看到新建的Scrapy文件，如下图所示。
6、当然，也可以通过Pycharm导入项目的方式进行查看项目文件，此时更加的清晰，如下图所示。
7、点击各个项目文件，可以查看其中的内容，其中settings.py文件的内容如下图所示，其他的文件内容在此就不再赘述了。
至此，第一个Scrapy爬虫项目的创建及Scrapy爬虫项目中的文件解析介绍就先到这里了，下一步开始进行Scrapy爬虫项目的进阶内容，敬请期待~~
相关推荐
- css布局方案汇总(28个实例图文并茂)
-
简介布局在我们前端日常开发来说是非常重要的，一个好的布局能简化代码的同时还能提高网页的性能。常见的布局方法有浮动(float)布局、绝对定位(position)布局、表格布局(table)、弹性(fl...
- 十款免费的CSS框架加速Web开发
-
Pure这是Yahoo最新推出的一款CSS框架，它只有HTML和CSS，没有使用任何JavaScript语言。总大小只有4.4kb，但功能却非常丰富，支持响应式样式和各种导航、表格、表单、按钮、网格和...
- Tailwind CSS 是不是目前世上最好的CSS框架?
-
转载说明：原创不易，未经授权，谢绝任何形式的转载今天看了一篇国外大佬对TailwindCSS的看法，在这里分享给大家，看看大家是否赞同，以下是其相关内容的整理，由于翻译水平有限，欢迎大家讨论和指...
- 下一代 CSS 框架:Mojo CSS，为何如此受欢迎?
-
TailwindCSS推出即受到广大开发者的欢迎，当前Githubstar数已达77.8k。它是一个功能类优先（utility-first）的CSS框架，它提供了一系列功能类，让开发者...
- 常见的几种摄影构图方式
-
摄影构图，是一种在摄影画面中表现结构美、形式美的方式。构图能让摄影主体更加突出，画面更加有序。所以说，构图在摄影中是非常重要的一个环节。无论是前期构图还是后期构图，摄影者都要对构图有一个比较深的了解。...
- 风光摄影10大构图技巧，会用构图，照片更容易好看
-
风光摄影10大构图技巧，会用构图，照片更容易好看先解释一下，为什么会使用构图之后，照片更容易好看？因为，构图是根据很多好看的照片，总结出来的技巧，使用这些构图技巧，就相当于站在了巨人的肩膀上，也就是用...
- 掌握框式构图的摄影技巧，会让摄影爱好者的作品更有魅力!
-
很多摄影爱好者都知道摄影构图中有个框式构图，但大多数人对框式构图的摄影技巧，却一知半解。所以摄影爱好者们有必要更全面、深入的了解，并掌握框式构图，会对你摄影水平的提高更有帮助。【欢迎点击上方关注：金立...
- 这个构图很简洁，但为什么不耐看?
-
摄影爱好者最常犯的错就是过于复杂、主体不明确，但当遇到简单的场景往往又会出现单调、不耐看的状况。为什么会这样？说白了还是观察力不够。下面是本周的摄影入围习作，我们一起来看看这些照片中主体、陪体以及背景...
- 初学者需要记牢的八种常用构图法
-
作者：冯海军摄影中，构图很关键，决定照片是否成功，所以在构图上要加以重视和推敲，虽然说构图无定法，但是也有很多的规律可循，以下列举几种常用构图，会对初学者有很大的帮助。多彩刘卫洲摄苏州姑苏俱乐部（...
- 构图这件事不难!掌握14种构图模式就稳了
-
如果说视觉元素是视觉信息的载体，那么构图就是视觉元素的载体。没有适当形式的构图对视觉元素有机、有序地承载，平面设计将无法传达预定的设计意图和视觉信息。因此，对于平面设计而言，构图是平面设计不可或缺的重...
- 框架构图如何使用?
-
1分钟教你用手机拍大片。今天我们利用框架构图，在不同的运镜方法下拍摄。·首先将手机贴近地面，拍摄人物走过的画面。·然后利用3D效果的背景衬托，将手机贴近地面，以低角度仰拍人物。·最后我们用高清画质来呈...
- 面构图的5种超实用的构图形式 前景构图，框架构图，填充构图
-
面构图的5种超实用的构图形式。为什么有的人拍摄的照片好看又舒适？仔细观察会发现他们善用构图。大家好，今天带大家了解摄影中5种超实用的面构图形式。·一、前景构图。前景是构图中的神奇要素，可以提升照片的表...
- 一看就懂!跟着马格南的大师学构图
-
马格南图片社是迄今为止全球最重要的摄影图片社，其网站包涵了太多经典的名字和照片。细细品味这些经典图片，能够学到很多有用的构图手法。跟着大师走，总不会错吧？前后景的运用这似乎是非常常见的一种手法，仔细看...
- 这才是框架构图，有想法!能给你启发么?
-
框架构图大家并不陌生，但并不是有一个框就行了。框架构图用得不好，就很死板生硬，给人感觉很假。如果你理解透了，拍出的作品不会单调。今天就给大家分享一下框架构图，你看看有哪些妙用？1.广角与长焦的应用长焦...
- 7B小模型写好学术论文，新框架告别AI引用幻觉
-
ScholarCopilot团队投稿量子位|公众号QbitAI学术写作通常需要花费大量精力查询文献引用，而以ChatGPT、GPT-4等为代表的通用大语言模型（LLM）虽然能够生成流畅文本，但...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 若依框架 (41)
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- scrapy框架 (52)
- beego框架 (42)
- java框架spring (43)
- grpc框架 (55)
- 前端框架bootstrap (42)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle v (42)
- oracle字符串长度 (48)
- oracle提交事务 (47)