自研分布式任务调度框架 revolver 基本设计
ccwgpt 2024-10-12 02:51 19 浏览 0 评论
前段时间写了一篇《自研分布式任务调度框架 Revolver 第一版》,这算是一个Demo版本,真正应用到项目中时,确实需要做一些调整。经过一段时间的调整、自测、与同事讨论,第一版已提测,在项目中验证,现在应该正式的介绍一下这个分布式任务调度平台 xxx(内部名字)核心之 revolver。revolver 是左轮手枪的意思,很多有定时功能的框架中都有「时间轮」的设计,比如 xxl-job、Kafka,设计巧妙,非常适用于定时或者延迟任务,revolver 也使用了时间轮。选择一个既简单又具有代表含义的名字,我想到了左轮手枪,形象相似,时间轮用来放任务,左轮用来放子弹。
01. 基本设计
基本设计
revolver 不同于 xxl-job、elasticJob 这些常规的任务调度平台,不需要独立部署,不需要后台注册,使用生产者、消费者模式,DB 作为中间媒介,自动注册自动消费。生产者、消费者可以分属于不同的服务,生产者指定执行任务的服务。
02. 为什么要做这个
做了 ToB 业务才知道,维护各种不同的版本、各种不同的环境真麻烦,常规的后台注册式任务管理,使用起来也会不方便,具备自动注册、自动消费能力的任务调度更合适,类似于 MQ 和 任务调度平台的结合。
非常适合在某个条件下,自动注册一个定时单次、有限次(无限次)的定时重复任务,这种场景 MQ 和 任务调度平台都不太合适。
03. 特点
- 使用简单
生产者调用 producer client 即可,消费者需要启动消费者调度,使用方式类似于 Spring Kafka。
# API 注册
RevolverProducer.produceFixed(FixedTask fixedTask)
# 也提供注解注册,类似于使用 @Transcational
@FixedRegister(handler = "taskHandler", delayTime = 5L)
# 消费者启动
RevolverConsumer.start();
# 消费者需要实现 ITaskHandler 接口
@Component("taskHandler")
public class TaskHandler implements ITaskHandler {
}
- 动态分片
提交上来的任务,会分配到任务较少机器上,均衡利用集群资源。
- 故障转移
任务节点故障时,由注册中心通知其他可用节点,leader 从故障节点撤出任务,提交给分片任务。
- 去中心化
leader 节点承担故障转移、分片功能,不承担调度,只要分片之后,每个节点都是独立调度自己的任务。
- 线程安全
一个任务只会在一台机器执行,不会出现多机并发问题,也不会出现单机并发调度。
- 性能保证
内存时间轮队列 + 阻塞通知机制,实现高效调度,在没有任务时,也不会出现空轮询。
之前netty空轮询造成 cpu 彪高
原因:若Selector的轮询结果为空,没有阻塞、通知机制,不断轮询,使得CPU使用率100%
Netty4解决:加入了阻塞机制。
如果持续的时间大于等于timeoutMillis,说明就是一次有效的轮询,重置selectCnt标志,否则,表明该阻塞方法并没有阻塞这么长时间,可能触发了jdk的空轮询bug,当空轮询的次数超过一个阀值的时候,默认是512,就开始重建selector
xxl-job 其实也存在空轮询问题,虽然一秒钟一次影响不明显,在已经有这么多优秀的调度框架的前提自研,前期必然要注意一些。
- 线程池隔离
为减少任务之间的影响,采用执行线程池隔离,线程池数可配置,提供不同的线程池选择策略。
03. 短期规划
总体方向是 MQ模式 与 平台化管理相结合,可能会支持数据调度,自动化、平台化、多元化。
近期规划,支持平台化、报警、运行日志等等。
公众号:看起来很美(kanqilaihenmei_)
相关推荐
- 盲盒小程序背后的技术揭秘:如何打造个性化购物体验
-
在2025年的今天,盲盒小程序作为一种新兴的购物方式,正以其独特的魅力和个性化体验吸引着越来越多的消费者。这种将线上购物与盲盒概念相结合的应用,不仅为消费者带来了未知的惊喜,还通过一系列技术手段实现了...
- 小程序·云开发已支持单日亿级调用量,接口可用率高达99.99%
-
2019-10-1914:1210月19日,由腾讯云与微信小程序团队联合举办的“小程序·云开发”技术峰会在北京召开。会上,微信小程序团队相关负责人表示“小程序·云开发”系统架构已经支持每天亿级别的...
- 程序员副业开启模式:8个GitHub上可以赚钱的小程序
-
前言开源项目作者:JackonYang今天推荐的这个项目是「list-of-wechat-mini-program-list」,开源微信小程序列表的列表、有赚钱能力的小程序开源代码。这个项目分为两部分...
- 深度科普:盲盒小程序开发的底层逻辑
-
在当下的数字化浪潮中,盲盒小程序以其独特的趣味性和互动性,吸引着众多消费者的目光。无论是热衷于收集玩偶的年轻人,还是享受拆盒惊喜的上班族,都对盲盒小程序情有独钟。那么,这种备受欢迎的盲盒小程序,其开发...
- 微信小程序的制作步骤
-
SaaS小程序制作平台,作为数字化转型时代下的创新产物,不仅将易用性置于设计的核心位置,让非技术背景的用户也能轻松上手,快速制作出功能丰富、界面精美的小程序,更在性能和稳定性方面投入了大量精力,以确保...
- 携程开源--小程序构建工具,三分钟搞定
-
前言今天推荐的这个项目是「wean」,一个小程序构建打包工具。在wean之前,大量小程序工具使用webpack进行打包,各种loader、plugin导致整个开发链路变长。wean旨在解...
- 校园小程序的搭建以及营收模式校园外卖程序校园跑腿校园圈子系统
-
校园小程序的架构设计主要包括云端架构和本地架构两部分。云端架构方面,采用Serverless架构可以降低技术门槛,通过阿里云、腾讯云等平台提供的云服务,可以实现弹性扩容和快速部署。例如,使用云数据库、...
- 盲盒小程序开发揭秘:技术架构与实现原理全解析
-
在2025年的今天,盲盒小程序作为一种结合了线上购物与趣味性的创新应用,正受到越来越多用户的喜爱。其背后的技术架构与实现原理,对于想要了解或涉足这一领域的人来说,无疑充满了神秘与吸引力。本文将为大家科...
- 月活百万的小程序架构设计:流量暴增秘籍
-
从小程序到"大"程序的蜕变之路当你的小程序用户量从几千跃升至百万级别时,原有的架构就像一件不合身的衣服,处处紧绷。这个阶段最常遇到的噩梦就是服务器崩溃、接口超时、数据丢失。想象一下,在...
- 认知智能如何与产业结合?专家学者共探理论框架与落地实践
-
当前,以大模型为代表的生成式人工智能等前沿技术加速迭代,如何将认知智能与产业结合,成为摆在各行各业面前的一个问题。论坛现场。主办方供图7月4日,2024世界人工智能大会暨人工智能全球治理高级别会议在...
- 现代中医理论框架
-
...
- 认知行为(CBT)中的ABC情绪理论
-
情绪ABC理论是由美国心理学家阿尔伯特·艾利斯(AlbertEllis1913-2007)创建的理论,A表示诱发性事件(Activatingevent),B表示个体针对此诱发性事件产生的一些信...
- 说说卡伦霍妮的理论框架,对你调整性格和人际关系,价值很大
-
01自在今天我主要想说下霍妮的理论框架。主要说三本书,第一本是《我们时代的神经症人格》,第二本是《我们内心的冲突》,第三本是《神经症与人的成长》。根据我的经验,三本书价值巨大,但并不是每个人都能读进去...
- 供应链管理-理论框架
-
一个最佳价值的供应链,应该是一个具有敏捷性、适应性和联盟功能(3A)的供应链,其基本要素包括战略资源、物流管理、关系管理以及信息系统,目标是实现速度、质量、成本、柔性的竞争优势。篇幅有...
- 微信WeUI设计规范文件下载及使用方法
-
来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。WeUI是一套同微信原生视觉体验一致的基础样式库,由微信官方设计团队为微信Web开发量身设计,可以令用户的使用感知...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- scrapy框架 (52)
- beego框架 (42)
- java框架spring (43)
- grpc框架 (55)
- 前端框架bootstrap (42)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)