百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

springboot定时任务介绍和多实例部署避免重复执行设计

ccwgpt 2024-10-16 08:08 44 浏览 0 评论

1. 概述

在新设计的架构中有定时任务或者说是计划任务的需求。我想从如下选项中选择

产品

使用方式

小注

自写的框架

可集成到项目,可独立

我之前开发过java版本和golang版本的,但现在在一个传统的公司,收敛一下就不用自己的了

Quartz

集成到项目

使用面比较广,看似简单,其实也有些重了

Spring @Scheduled

默认集成

Springboot项目已自带,在使用上可能更显简单和轻量级

xxl-job

独立部署

中心化,分布式。易用性好,在稍微大点的项目推荐选用

elstic-job

独立部署

无中心化,分布式,入门和使用较前几种略显复杂,据说性能稍高一些

其实现在设计的架构针对的是一些不是太大规模的应用,定时任务也就不会特别巨大。为了节省资源,所以先直接使用最简单的方案 Spring @Scheduled

2. 设计目标

  • 轻量级,直接集成到项目
  • 注解方式完成
  • 支持cron表达式
  • 支持多实例部署时不重复执行计划任务

3. Spring @Scheduled基本应用介绍

示例中都是基于Springboot2.4.3的
一旦相关类创建后,计划任务管理器会跟着程序的启动自动启动

3.1 首先是基本配置

因为引入springboot就自带了,所以不需要单独在引入依赖。本来直接建立一个config类,标注@EnableScheduling就可以开启计划任务。但考虑到计划任务使用线程池,为了保证资源使用有边界,所以在这里特意自定义了线程池。

SchedulingConfig.java

Bash
// 省略掉了包名和引入

/**
 * spring boot 自带的计划任务
 */
@Configuration
@EnableScheduling
public class SchedulingConfig implements SchedulingConfigurer {

    private int corePoolSize = 5;
    private int maxPoolSize = 10;
    private int queueCapacity = 5;

    /**
     * 自己建立线程池防止资源使用无边界问题
     * @return
     */
    @Bean(destroyMethod="shutdown")
    public Executor taskExecutor() {
        return Executors.newScheduledThreadPool(100);
    }

    /**
     * 设置线程池
     * @param taskRegistrar
     */
    @Override
    public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
        taskRegistrar.setScheduler(taskExecutor());
    }
}

3.2 基本使用

固定延迟时间的任务使用方法

相同方法会在上一个任务执行完后,再延时指定的时间执行

Bash
    @Scheduled(fixedDelay = 1000)
    public void scheduleFixedDelayTask() {
        DateTimeFormatter dateTimeFormatter = DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss");
        LocalDateTime localDateTime = LocalDateTime.now();
        String dateString = dateTimeFormatter.format(localDateTime);
        System.out.println("固定延迟时间的任务 - " + dateString);
    }

固定频率任务执行使用方法

默认也是在上一个任务完成的情况下才会执行的,所以下面这个例子耗时2秒,也就不能按照真正的1秒的频率执行了。解决方案是使用异步注解。稍后会有示例

    @Scheduled(fixedRate = 1000)
    public void scheduleFixedRateTask() {
        // 让我们来测试一下每次任务都超时的情况下
        try {
            TimeUnit.SECONDS.sleep(2);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        System.out.println(
                "固定频率的任务 - " + System.currentTimeMillis() / 1000);
    }

在指定延迟时间后执行的固定频率任务

    @Scheduled(fixedDelay = 1000, initialDelay = 1000)
    public void scheduleFixedRateWithInitialDelayTask() {
        long now = System.currentTimeMillis() / 1000;
        System.out.println(
                "在指定延迟时间后执行的固定频率任务 - " + now);
    }

根据cron表达式确定时间执行

可指定cron表达式和时区。运行下面的例子可以证明多个注解放在一个方法上,实际会启动多个任务

    @Scheduled(cron = "0 35 14 * * ?", zone = "Asia/Shanghai")
    @Scheduled(cron = "*/5 * * * * ?", zone = "Asia/Shanghai")
    @Scheduled(cron = "*/5 * * * * ?")
    public void scheduleTaskUsingCronExpression() {
        long now = System.currentTimeMillis() / 1000;
        System.out.println(
                "使用cron表达式的定时任务 - " + now);
    }

在配置文件中配置crontab表达式

下例子中的$是在application.yml(或者自己定义的prifile文件)中配置的。
这点是我比较喜欢的,生产环境不方便重新编译的情况下,可用

    @Scheduled(cron = "${cron.expression}")
    public void scheduleTaskUsingCronExpressionWithProperty() {
        long now = System.currentTimeMillis() / 1000;
        System.out.println(
                "使用cron表达式的定时任务(配置文件指定时间) - " + now);
    }

最后说真正的实现固定频率执行任务的配置方式

需要在类上加上@EnableAsync,在方法上加上@Async。
不过注意资源消耗,请谨慎使用

DemoAsyncTasks.java

//package and import abort

/**
 * 异步执行任务,能真正实现按频率执行 关键在@EnableAsync注解的使用
 */
@EnableAsync
@Component
public class DemoAsyncTasks {

    /**
     * 此种任务适合确保间隔时间内完成的,否则会消耗大量的资源(线程资源)和出现Out of Memory exception
     * 任务执行结果类似如下
     * <pre>
     * 固定频率异步执行的任务 - 1615357318
     * 固定频率异步执行的任务 - 1615357319
     * 固定频率异步执行的任务 - 1615357320
     * 固定频率异步执行的任务 - 1615357321
     * 固定频率异步执行的任务 - 1615357322
     * </pre>
     */
    @Async
    @Scheduled(fixedRate = 1000)
    @UniqueExecutionLock(timeout = 5) // 这个将是下篇文章介绍的多实例唯一执行锁,本期测试的话可直接删除
    public void scheduleFixedRateTaskAsync() throws InterruptedException {
        System.out.println(
                "固定频率异步执行的任务 - " + System.currentTimeMillis() / 1000);
        Thread.sleep(2000);
    }

}

4. 多实例部署防止重复执行的方案

在自写的架构中,是通过锁使整个计划任务管理器只在单个实例中运行实现的。优点是容易查问题,缺点是不能随机分布到各个节点运行。

现在使用Springboot @Scheduled的方案决定用单个任务的同步锁来实现。简单来说就是:

  • 多实例部署时,每个实例的计划任务都启动;
  • 在每个计划任务在执行前先获取锁
  • 获取到锁的执行,获取不到锁的跳过执行

而实现获取锁的方式可以用数据库mysql的记录版本控制或者redis缓存来实现。

我暂时计划用redis来实现。主要用到redis的"set if absent (SETNX)"的命令来实现锁的获取,同时兼顾超时删除。当然在每个计划任务方法重复写锁获取和锁释放的代码有点不优雅和重复劳动。所以我设计了通过切片和自写注解的方式,实现在计划任务方法上加锁和设置超时的组件框架,将在下一篇文中中介绍(直接开箱即用哦)。

参考资料:https://www.baeldung.com/spring-scheduled-tasks

相关推荐

腾讯开源框架TarsCpp-rpc设计分析-server(二)

2Tars协议2.1是什么借用官方说法:TARS编码协议是一种数据编解码规则,它将整形、枚举值、字符串、序列、字典、自定义结构体等数据类型按照一定的规则编码到二进制数据流中。对端接收到二进制数据流...

微服务调用为什么用RPC框架,http不更简单吗?

简单点,HTTP是协议,RPC是概念!实现RPC可以基于HTTP协议(Feign),TCP协议(Netty),RMI协议(Soap),WebService(XML—RPC)框架。传输过程中,也因为序列...

go-zero:开箱即用的微服务框架(gin框架微服务)

go-zero是一个集成了各种工程实践的Web和rpc框架,它的弹性设计保障了大并发服务端的稳定性,并且已经经过了充分的实战检验。go-zero在设计时遵循了“工具大于约定和文档”的理...

SOFARPC :高性能、高扩展性、生产级的 Java RPC 框架

#暑期创作大赛#SOFARPC是一个高性能、高扩展性、生产级的JavaRPC框架。在蚂蚁金服,SOFARPC已经使用了十多年,已经发展了五代。SOFARPC致力于简化应用程序之间的RPC...

自研分布式高性能RPC框架及服务注册中心ApiRegistry实践笔记

痛点1.bsf底层依赖springcloud,影响bsf更新springboot新版本和整体最新技术版本升级。2.eureka已经闭源,且框架设计较重,同时引入eureka会自行引入较多sprin...

Rust语言从入门到精通系列 - Tonic RPC框架入门实战

Rust语言是一种系统级语言,被誉为“没有丧失性能的安全语言”。Rust语言的优势在于其内存安全机制,在编译时就能保证程序的内存安全。Tonic模块是Rust语言的一个RPC(RemoteProce...

腾讯开源框架TarsCpp-rpc设计分析-client(一)

前言Tars是腾讯开源的微服务平台,包含了一个高性能的rpc框架和服务治理平台,TarsCpp是其C++版本。对于以C++为主要开发语言,同时还想深入了解rpc和微服务框架具体实现的同学来说,Tars...

设计了一款TPS百万级别的分布式、高性能、可扩展的RPC框架

为啥要开发RPC框架事情是这样的,在开发这个RPC框架之前,我花费了不少时间算是对Dubbo框架彻底研究透彻了。冰河在撸透了Dubbo2.x和Dubbo3.x的源码之后,本来想给大家写一个Dubbo源...

rpc框架使用教程,超级稳定好用,大厂都在使用

rpc是什么远程调用协议如何使用导入依赖<dependency><groupId>org.apache.dubbo</groupId><art...

Layui 框架实战:动态加载 Select 与二级联动全解析

在现代Web开发中,下拉选择框(Select)是用户输入数据时不可或缺的组件。很多时候,我们需要的选项并非静态写死在HTML中,而是需要根据业务逻辑从后端动态获取。更有甚者,我们可能需要实现“...

15个能为你节省数百小时的前端设计神器,从UI库到文档生成

无论你是刚开始开发之旅的新手,还是疲于应付生产期限的资深程序员,有一个真理始终不变:正确的工具能彻底改变你的工作流程。多年来,我测试了数百个开发工具——有些实用,大多数平庸。但有一批免费网站经受住了时...

Layui与WinForm通用权限管理系统全解析

嘿,小伙伴们,今天咱们来聊聊Layui和WinForm这两个框架在通用权限管理系统中的应用。别担心,我会尽量用简单易懂的语言来讲解,保证让大家都能跟上节奏!首先说说Layui。Layui是一个前端UI...

纯Python构建精美UI!MonsterUI让前端开发效率飙升

“无需CSS知识,告别类名记忆,11行代码实现专业级卡片组件”在传统Web开发中,构建美观界面需要同时掌握HTML、CSS、JavaScript三剑客,开发者不得不在多种语言间频繁切换。即使使用Boo...

WebTUI:将终端用户界面(TUI)之美带到浏览器的CSS库

在当今Web技术飞速发展的时代,界面设计愈发复杂多样。然而,随着现代化工具的广泛使用,一些开发者开始回归极简风格,追求一种简洁而富有韵味的设计。WebTUI正是这样一款CSS库,它将经典的终...

人教版二年级下册生字描红汇总(拼音+笔顺+描红),可打印!

可定制内容,评论区留言。本次整理的为人教版二年级下册所有生字,共计300个;写字是小学阶段一项重要的基本功训练,把汉字写得正确、工整、美观,可以提高运用汉字这一交际工具的准确性和效率。对小学生进行写字...

取消回复欢迎 发表评论: