ShedLock日常使用

摘要:
首次发布在个人博客上:ShedLock日常使用场景模拟定时器调度器在平时经常使用,例如定期数据整理、定期向客户发送问候等。调度任务的配置相对简单。例如,在spring-boot中,在配置了@Scheduled和@EnableScheduling之后,计时器可以正常执行并实现计划任务的功能。但是,必须指定名称,ShedLock根据该名称确定相同的任务。
首发于个人博客:ShedLock日常使用

场景模拟

定时器Scheduler在平时使用比较频繁,比如定时数据整理,定时向客户发送问候信息等...,定时任务的配置比较简单,比如在springboot中,配置好@Scheduled@EnableScheduling之后,定时器就能正常执行,实现定时任务的功能。

但是在这样的情况下:如果开发的服务需要水平部署实现负载均衡,那么定时任务就会同时在多个服务实例上运行,那么一方面,可能由于定时任务的逻辑处理需要访问公共资源从而造成并发问题;另一方面,就算没有并发问题,那么一个同样的任务多个服务实例同时执行,也会造成资源的浪费。因此需要一种机制来保证多个服务实例之间的定时任务正常、合理地执行。

ShedLock介绍

ShedLock的出现就是为了解决上述问题,它可以保证多个一个定时任务在多个服务实例之间最多只执行一次,是一个在分布式环境中保证定时任务合理执行的框架。

Github项目地址:https://github.com/lukas-krecan/ShedLock.

ShedLock的实现原理是采用公共存储实现的锁机制,使得同一时间点只有第一个执行定时任务的服务实例能执行成功,并在公共存储中存储"我正在执行任务,从什么时候(预计)执行到什么时候",其他服务实例执行时如果发现任务正在执行,则直接跳过本次执行,从而保证同一时间一个任务只被执行一次。

上面提到的公共存储目前支持的有:

  • Monogo
  • DynamoDB
  • JdbcTemplate
  • ZooKeeper (using Curator)
  • Redis (using Spring RedisConnectionFactory)
  • Redis (using Jedis)
  • Hazelcast

值得注意的是,ShedLock不是一个分布式的定时任务框架,只是一个锁,用于保证分布式环境中的定时任务合理执行。贴一段原话:Please note that ShedLock is not and will never be full-fledged scheduler, it's just a lock. If you need a distributed scheduler, please use another project. ShedLock is designed to be used in situations where you have scheduled tasks that are not ready to be executed in parallel, but can be safely executed repeatedly. For example if the task is fetching records from a database, processing them and marking them as processed at the end without using any transaction. In such case ShedLock may be right for you.

依赖说明:

  • Java 8
  • slf4j-api
  • Spring Framework (optional)

ShedLock使用

以SpringBoot为例。

引入依赖:

<dependency>
    <groupId>net.javacrumbs.shedlock</groupId>
    <artifactId>shedlock-spring</artifactId>
    <version>2.3.0</version>
</dependency>

定义一个定时任务:

@Component
public class DataHouseKeepingScheduler {
    @Scheduled(cron = "*/5 * * * * ?")
    private void dataHouseKeeping(){
        System.out.println(String.format("[%s] DataHouseKeeping job run...", new Date()));
    }
}

添加ShedLock
在主类或者@EnableScheduling的地方添加@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")

@SpringBootApplication
@EnableScheduling
@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

然后在@Scheduled(...)的地方添加@SchedulerLock(name = "scheduledTaskName")

@Component
public class DataHouseKeepingScheduler {
    @Scheduled(cron = "*/5 * * * * ?")
    @SchedulerLock(name = "dataHouseKeepingLock", lockAtLeastForString = "20000", lockAtMostForString = "30000")
    private void dataHouseKeeping(){
        System.out.println(String.format("[%s] DataHouseKeeping job run...", new Date()));
    }
}

@SchedulerLock的作用是保证当前定时任务的方法执行时获得锁,忽略其他相同任务的执行。但是,name必须要指定,ShedLock就是根据这个name进行相同任务判定的(后面会细说)。注解中还有两个参数:

  • lockAtLeastForString: 锁持有的最小时间(ms)。比如示例代码中设定的5000ms表示当前方法执行时获取到的锁的最小时间是20s,20s之内,就算当前定时任务已经执行完成,其他任务也无法获得锁,必须等5s之后才能获取。
  • lockAtMostForString: 锁持有的最大时间(ms)。当前任务获取的锁的最大持有时间为30s,30s之后就算没有执行完,其他定时任务也可以获取锁去执行任务。

配置LockProvider,此处以jdbc为例。先引入依赖:

<dependency>
    <groupId>net.javacrumbs.shedlock</groupId>
    <artifactId>shedlock-provider-jdbc-template</artifactId>
    <version>2.3.0</version>
</dependency>

配置@Bean:

@Component
public class ShedLockConfig {
    @Resource
    private DataSource dataSource;

    @Bean
    private LockProvider lockProvider(){
        return new JdbcTemplateLockProvider(dataSource);
    }
}

此处的DataSource即为当前应用的数据源。

注意,如果使用SqlServer需要设置schema,可以在JdbcTemplateLockProvider的构造方法中设置:

new JdbcTemplateLockProvider(dataSource, "schema.shedlock")

创建存储锁信息的表。

MySQL

```sql
CREATE TABLE shedlock(
    name VARCHAR(64), 
    lock_until TIMESTAMP(3) NULL, 
    locked_at TIMESTAMP(3) NULL, 
    locked_by  VARCHAR(255), 
    PRIMARY KEY (name)
) 

SQLServer

CREATE TABLE [dbo].[shedlock](
    [name] [varchar](64) NOT NULL,
    [lock_until] [datetime] NULL,
    [locked_at] [datetime] NULL,
    [locked_by] [varchar](255) NOT NULL,
 CONSTRAINT [PK_shedlock] PRIMARY KEY CLUSTERED 
(
    [name] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]

Oracle

CREATE TABLE SHEDLOCK (
  name VARCHAR2(64 CHAR),
  lock_until TIMESTAMP,
  locked_at TIMESTAMP,
  locked_by  VARCHAR2(255 CHAR),
  PRIMARY KEY (name)
);

启动应用,定时任务开始执行:

[Mon Feb 25 22:38:15 CST 2019] DataHouseKeeping job run...
[Mon Feb 25 22:38:35 CST 2019] DataHouseKeeping job run...
[Mon Feb 25 22:38:55 CST 2019] DataHouseKeeping job run...

可以看到,虽然定时任务设定的是每5秒执行一次,但是控制台输出的却是每20秒一次,这时就是lockAtLeastForString="20000"生效了。

这时候来看看表里的数据:

20190225224750.png

总结

再次强调,ShedLock不是一个定时任务框架,而是一个保证定时任务在分布式环境中的合理执行的辅助框架,保证定时任务在分布式环境中同一时间最多只执行一次。同时一个任务在执行时,另一个任务无法获取锁时会跳过当前任务的执行。

最后关于ShedLock的版本说明(直接贴原话了):
Version 1.x.x is compiled and tested with Spring 5 and Spring Data 2. It should be safe to use ShedLock 1.x.x with Spring 4 if you are not using Spring Redis lock provider which introduced incompatibility. In other words

  • If you have dependency on spring-data-redis 2 - use ShedLock 1.x.x
  • If you have dependency on spring-data-redis 1 - use ShedLock 0.x.x
  • In all other cases, you can use both versions, prefereably 1.x.x

Demo源码地址

Demo源码地址:https://gitee.com/nickhan/ShedLockDemo

免责声明:文章转载自《ShedLock日常使用》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇wpa_cli 关联无线网络浅谈http中的Cache-Control,cdn缓存加速失败的原因下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

centos7.6下定时监测MySQL进程终止后自动重启的方法

前言 最近发现MySQL服务隔三差五就会挂掉,导致我的网站和爬虫都无法正常运作。自己的网站是基于MySQL,在做爬虫存取一些资料的时候也是基于MySQL,数据量一大了,MySQL它就有点受不了了,时不时会崩掉,虽然我自己有网站监控和邮件通知,但是好多时候还是需要我来手动连接我的服务器重新启动一下我的MySQL,这样简直太不友好了,所以,我就觉定自己写个脚本...

windows服务器定时对mysql数据库进行数据库自动备份

每天早上备份一次 MySQL 数据库并自动打包,同时删除 5 天前的备份文件. 分享如下. 1. 环境: windows server 2003 + Apache 2.0 + PHP5 + MySQL 4.0.26 . 2. 假设 PHP 安装目录为 D:/php ,MySQL 安装目录为 D:/mysql. 3. 在 D:/php 下建立目录 WinRA...

定时重启MySQL、定时重启Apache [任务计划]

有时候觉得,服务器运行时间过长,程序上无法释放mysql,造成服务器压力过大。因此,设想一下,不用重新启动服务器的情况下,完成apache和mysql的内存释放。 首先,apache的重新启动。 操作步骤: 开始>>程序>>附件>>管理工具>>任务计划 添加任务计划>>下一步>>apa...

定时任务 Crontab命令 详解

前言 crontab是Unix和Linux用于设置周期性被执行的指令,是互联网很常用的技术,很多任务都会设置在crontab循环执行,如果不使用crontab,那么任务就是常驻程序,这对你的程序要求比较高,一个要求你的程序是24X7小时不宕机,一个是 要求你的调度程序比较可靠,实际工作中,90%的程序都没有必要花这么多时间和精力去解决上面的两个问题的,只需...

mysql事件机制——定时任务

定时任务是老生常谈了,因为我们总是需要定时修改特定的数据。 实现它的方法肯定不止一种,但我在相当长一段时间里都是用程序编码去做的,今天突然想到“为什么一定要采用调用的方式?”,用数据库自身的能力去实现不是更好么? 通过了解,mysql的事件机制可以完成定时任务,其原理是在指定的时间调用指定的存储过程。现在很简单了不是?开搞。 首先,我们需要一个存储过程,虽...