百度360必应搜狗淘宝本站头条
框架图cad怎么画框架grpc框架flask框架scrapy框架
当前位置：网站首页 > 技术文章 > 正文

用 Python 代码构建一个爬虫框架（编写一段python爬虫代码）

ccwgpt 2024-10-13 01:34 23 浏览 0 评论

点击头像看历史

xcrawler 是最开始构建的一个轻量级的爬虫框架

既然有了像 Scrapy 这样好的爬虫框架，那为何还要造轮子呢？

嗯是将 Python 知识综合起来

xcrawler

https://github.com/ChrisLeeGit/xcrawler

Scrapy

https://github.com/scrapy

Features

简单、易用

易于定制的 Spider

多线程实现并发下载

xcrawler 介绍

项目的结构

框架

Crawler engine （生产者+消费者模型）

配置介绍

Spider 基类关键方法介绍

  1. 1spider_started：该方法会在引擎启动时被触发调用，你可以通过继承该方法进行一些初始化工作，比如配置 pipeline 输出文件或者数据库连接等等；

  2. 2spider_idle：该方法会在引擎处理空闲状态（即没有任何 requests 在队列）时被触发调用，你可以通过继承该方法给引擎添加新的请求等（使用 3self.crawler.crawl(new_request, spider=self) 即可）；

  3. spider_stopped：该方法会在引擎关闭时触发调用，你可以通过继承该方法并在 Spider 结束工作前做一些清理工作，如关闭文件管道、关闭数据库连接等；

  4. 4start_requests：该方法会为引擎提该 Spider 的对应种子请求；

  5. 5make_requests_from_url：该方法会为你的 URL 创建一个 Request 对象；

  6. 6parse：该方法为请求的默认解析函数回调，当然你可以可以在创建 Request 时指定其它的回调函数；

  7. 7process_request：每当引擎处理一个 Spider 对应的请求时，该方法会被触发调用，你可以通过继承该方法对 request 做些设置，比如更换随机的 User-Agent，替换 Cookies 或者代理等；当然，你可以将 request 设置为 None 从而忽略该请求；

  8. 8proccess_response：每当引擎处理一个 Spider 对应的响应时，该方法会被触发调用；

  9. 9process_item：每当引擎处理一个 Spider 对应的 item 时，该方法会被触发调用，你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

安装

  1. 在xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码

    请保证你的安装环境为 Python 3.4+

  2. 请使用 pip3 setup.py install 安装即可。

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入学习交流群

626062078，我们一起学Python！

示例





相关推荐

NET版本众多，傻傻分不清楚

面对.NET众多的版本，尤其还有几个名称的情况下，相信很多初学C#的开发人员都很困惑，搞不清究竟该怎么选择。下面就列举一下.NET的主要版本及其区别：.NETFramework（传统版本，仅适用于W...

.NET Framework 和 .NET Core 有啥区别?如何选择?

.NETFramework和.NETCore都是由Microsoft开发的软件框架，用于创建Windows应用程序和Web应用程序。它们的主要区别在于：支持的操作系统：.NET...

「分享」介绍一款倍受欢迎的.NET 开源UI库

概述今天要带大家了解的是一款WPF的开源控件库MahApps.Metro。MahApps.Metro是用于创建现代WPF应用程序的工具包，它许多开箱即用的好东西。目前支持的NETFramework...

.NET 5.0正式版发布:应用可在ARM64上原生运行

更多：o梵蒂冈图书馆频繁遭黑客攻击oNPM包被发现窃取敏感的Discord和浏览器文件o作者：硬核老王o（本文字数：712，阅读时长大约：1分钟）.NET5.0正式版发布：应用可...

盘点8个热门.Net开源项目

一、SmartFormat：轻量级文本模板库，轻松替代string.Format项目地址：https://github.com/axuno/SmartFormatSmartFormat不仅继承了s...

.NET与Java开发:一场从框架到应用实例的深度对决

在软件开发这片广袤的战场上，.NET与Java两大开发平台如同两位身经百战的将军，各自率领着庞大的开发者队伍，在不同的应用场景中大放异彩。今天，我们就来一场从框架到应用实例的深度对决，看看这两大平台究...

TouchSocket:一个功能强大且易于使用的 .NET 网络通信框架

项目介绍TouchSocket是一个功能强大且易于使用的.NET网络通信框架，适用于C#、VB.Net和F#等语言。它提供了多种通信模块，包括TCP、UDP、SSL、WebSocket、Mo...

远离报错烦恼!深入全面掌握.NET Framework

由于Windows系统对.NETFramework这一系统组件有着极为特殊的要求，而部分应用软件及游戏对其的依赖性也近乎达到了驱动级的水准，使用或安装不当会遭遇许多“未知”的问题，因此如何掌握.NE...

想自己搭建.Net Web框架，开源项目太庞大看不懂，可以看这个教程

大家好，我是编程乐趣。一直以来，我都在运营知识星球，这个月也开始全职专心编写教程了。当时编写教程，就是发现很多程序员工作多年了，都没自己搭建过框架，也没接触过公司的框架底层代码。这就导致一些问题，无法...

.NET 8 + React 18 一体化开发框架!苏州码农十年匠心打磨

开篇前言从2014年入行至今，从WebForms到MVC，从JavaScript到React/Vue，从.NETFramework到.NETCore/8，技术栈的变迁伴随了我整个职业生涯。去年，我...

.Net Framework详解

相信有不少小伙伴遇到过这种情况：安装软件时提示.NetFramework未安装导致软件无法打开，或者需要安装.NetFramework4.0以上的组件。那.NetFramework是什么呢？....

系统小技巧:深入全面掌握.NET Framework

由于Windows系统对.NETFramework这一系统组件有着极为特殊的要求，而部分应用软件及游戏对其的依赖性也近乎达到了驱动级的水准，使用或安装不当会遭遇许多“未知”的问题，因此如何掌握.NE...

前端架构师成长之路:如何在 Vue 的计算属性中传递参数

在Vue中，计算属性（computed）是从其他响应式属性派生的属性，是用于自动监听响应式属性的变化，从而动态计算返回值。计算属性（computed）通常是一个没有参数的函数。当然如果需要像调...

Vue2 vs Vue3:核心差异与升级指南

Vue3自2020年发布以来，凭借其革命性的改进迅速成为开发者关注的焦点。本文将从架构设计、API模式、性能优化等多个维度深入对比Vue2和Vue3的核心差异，并提供代码示例帮助开发者...

突发!Vue3 投屏神器引爆程序员朋友圈

【AlarmLevel】重要【AlarmTitle】突发！Vue3投屏神器引爆程序员朋友圈【AlarmOverview】最近GitHub上名为vue-screen-share的仓库突...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表