Spring Batch学习笔记二

摘要:
这一系列的博客都是学习SpringBatch时的笔记;SpringBatch A BatchJob的体系结构是指作为预定义流程的一部分执行的有序步骤的集合;步骤表示用户定义的工作单元,它是作业的主要构建块;每个步骤由三部分组成:ItemReader、ItemProcessor和ItemWriter;这三个部分将对每个要处理的记录执行,ItemReader将读取每个记录

此系列博客皆为学习Spring Batch时的一些笔记;

Spring Batch的架构

一个Batch Job是指一系列有序的Step的集合,它们作为预定义流程的一部分而被执行;

Step代表一个自定义的工作单元,它是Job的主要构件块;每一个Step由三部分组成:ItemReader、ItemProcessor、ItemWriter;这三个部分将执行在每一条被处理的记录上,ItemReader读取每一条记录,然后传递给ItemProcessor处理,最后交给ItemWriter做持久化;ItemProcessor不是必须的,一个Step可以仅仅包含ItemReader和ItemWriter;如果你不需要去读写任何数据,你可以仅仅在一个Step中包含一个Tasklet(等价于ItemProcessor);

组成Spring Batch的一些相关的类和接口:

  1. org.springframework.batch.core.Job:表示一个Job,同时也提供了执行Job的能力;
  2. org.springframework.batch.core.Step:表示一个step,同时也提供了执行Step的能力;
  3. org.springframework.batch.item.ItemReader<T>:提供了读取数据的能力;
  4. org.springframework.batch.item.ItemProcessor<T>:我们可以通过它应用业务逻辑到每一条要处理的数据;
  5. org.springframework.batch.item.ItemWriter<T>:提供了写数据的能力

Spring Batch通过这种方式构建一个Job的优点在于解耦每一个Step到它自己独立的处理器当中;每一个Step负责得到数据、应用业务逻辑到这些数据、写数据到适当的位置;

一个Tasklet是一种特别的Step类型,在没有ItemReader和ItemWriter的情况下,使用它来执行一个功能;tasklet仅仅能被使用作一个单一的功能,如执行一些初始化、调用一个存储过程、发送一个邮件通知Job已经完成。

运行Job

首先看下面这个图,描述了Job的各个组件及其关系:

Spring Batch学习笔记二第1张

你会发现JobRepository这个组件会和多个其它组件发生联系,它代表一个数据存储(内存或者外部数据库),被用来持久化Job或Step执行过程中用到的信息(用JobExecution和StepExecution来表示);

Job通过JobLauncher开始执行,JobLauncher通过检查JobRepository来核实Job在之前是否运行过,并且验证传入到Job的参数,最后执行Job;

Job的执行流程和Step非常相似,Job首先实行每一个它包含的Step,当数据处理完成后,它将执行的结果更新到JobRepository的JobExecution和StepExecution中;Step首先通过ItemReader读取每一个它要处理的数据项,交由StepPrpcessor处理,同时更新JobRepository中的StepExecution数据。一些信息如Commit次数、开始结束时间都会被存储到JobRepository中,当一个Job/Step完成后,在JobRepository中相关的执行信息会被更新至最终状态。

并行运算

在Spring Batch中,并行可以通过以下四种方式实现: 

  • 将Step多线程化:在Spring Batch里面,我们把Job被配置去处理的工作块称为Chunk,每一个Chunk被处理完成后,都会执行一次Commit;这些Chunk依次执行,假如有10000条记录,一次处理50条,那么job会在1到50条记录完成后Commit,然后在51到100条记录完成后再次Commit;如果我们在Step中开启3个线程,那么将增加3倍的处理能力:
    Spring Batch学习笔记二第2张
  • 并行的执行Step:假设我们有两个Step,每一个都负责加载一个输入文件的数据到数据库中,这两个Step之间没有相互的依赖关系,我们则可以让这两个Step并行执行:
    Spring Batch学习笔记二第3张
  • 远程chunking:前两种方式都是在一个JVM里面去处理,这种方式允许你扩展你的处理跨多个JVM实例,其中一个JVM作为主节点,它通过一个ItemReader读取输入数据,然后通过网络将数据发送到其它的JVM实例上(称之为从节点)进行处理,处理完成后,从节点又将处理的结果发送回主结点,主结点通过ItemWriter输出;
  • 分区:这种方式不需要跨多个JVM实例,因此不需要网络数据传输,但依然使用了主从配置;也就是说一个Step作为主Step,它扮演了其它多个从Step的控制器;它通过一个ItemReader读取输入数据,然后传递给从Step进行处理,处理完成后从Step又将处理的结果传递回主Step:
    Spring Batch学习笔记二第4张

实例Job

Spring Batch提供了很多简单的Job实例,让你在开发你自定义的批处理应用程序时参考:

  • adhocLoopJob:演示了一个无限循环的Job,通过JMX去暴露元素;
  • beanWrapperMapperSampleJob:演示了如何实现基于文件的输入数据的验证和将文件字段映射到域对象;
  • compositeItemWriterSampleJob:一个Step只能包含一个ItemReader和ItemWriter,这个Job教你如何绕开这个限制;
  • customerFilterJob:演示如何使用一个ItemProcessor过滤无效的Customer;
  • delegatingJob:使用ItemReaderAdapter,将输入数据的读取行为委托给一个POJO的某个方法;
  • footballJob:一个足球赛事统计Job,在加载两个输入文件(一个文件是运动员数据,一个文件是赛事数据)之后,产生一个统计信息并输出到日志文件;
  • groovyJob:演示运行由groovy编写的文件压缩和解压的脚本;
  • headerFooterSample:演示如何使用回调,在输出的时候添加Header和Footer;
  • hibernateJob:Spring Batch Reader和Writer默认不会使用Hibernate,这个Job演示了如何整合Hibernate;
  • infiniteLoopJob:一个无限循环Job,在Job停止后自动重启;
  • ioSampleJob:提供了很多不同IO方式的例子,如读取分隔符文件、固定长度字段的文件、Xml、JDBC、iBATIS集成;
  • jobSampleJob:演示了如何从一个Job中执行另外一个Job;
  • loopFlowSample:演示如何用编程的方式去控制执行流程;
  • mailJob:演示如何使用SimpleMailMessageItemWriter去发送eMail;

免责声明:文章转载自《Spring Batch学习笔记二》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇[ABP教程]第三章 创建、更新和删除图书Python--unique()与nunique()函数下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

随便看看

html2canvas踩坑日记

在html2canvas&lt;html2canvas(document.querySelector(“#capture”)).then(canvas=&gt;{document.body.appendChild(canvas)});//图片地址是文档。身体appendChild(画布);...

c# Socket心跳试验,自定义发送包 和 使用KeepAlive

我记录了我心跳的位置,但WireShark无法检测到正在发送的消息,主要是因为发送的数据大小为0。如果网络电缆被拔掉,下次检测到心跳时就会报告错误。虽然这种方法可以检测套接字是否断开,但它不是很好,响应也不及时。当使用KeepAlive时,WireShark通常会检测到它不停地向Socket服务器发送消息,即心跳检测。图:通过三次握手(前三次握手)建立连接后...

建行手机银行4.0版本转账怎么不要求输入支付密码?

建行手机银行单笔限额50万,日限额100万,这个6位数的验证码价值50万元!输入6个数字的支付密码只需要几秒钟而已,转账操作频率不是很高,手机银行转账速度比人工柜台、ATM、电脑网银转账速度不知道快了多少倍,输入6个数字的支付密码这几秒钟相对安全性算什么呢?另外建行还有帐号支付的方式,对电子商户日限额10000元,只需要帐号+手机验证码就可以支付,密码都不用...

带EFI支持的GRUB2安装全记录

--引导目录#定义引导目录。默认前缀是/boot/grub2,因此我们可以直接定义/。但是,如果您将其安装在EFI系统上,则可以直接写入EFI的装载点=====2016-02-26===============在新版本的grub2中找不到引导目录参数。特别是,在安装EFI时,需要将其更改为--EFI目录,否则您将找不到EFI目录的错误。grub2-insta...

weblogic补丁下载与安装补丁的方法

去:https://jingyan.baidu.com/article/642c9d34b3b493254a46f7e4.htmlweblogic安装应用程序后,可能会发现该版本存在漏洞。我们可以根据weblogic漏洞报告下载补丁,然后修复相应的漏洞。我们如何下载和安装修补程序?Weblogic 10.3.6.0 Linux步骤1:在Weblogic中出现...

vue 使用字典值及其翻译

在日常开发中,我们会遇到很多枚举的值,这么枚举出来的值,我们可以统一处理,称为字典值的使用及翻译。我们使用这个返回的列表。后端保存也是状态码,同样的,在页面中需要显示了这个信息,显示的是男的对应状态码,而不是男这个汉字,这时候就需要翻译这个状态码。...