Spring Batch批处理框架使用解析

2023-08-04 16:28:04 300

这篇文章主要介绍了SpringBatch批处理框架使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

使用SpringBatch做为批处理框架，可以完成常规的数据量不是特别大的离线计算。

现在写一个简单的入门版示例。

这里默认大家已经掌握了SpringBatch的基本知识，示例只是为了快速上手实践

目标1：程序随机生成字符串，经过SpringBatch后，统一在字符串后加入“----PROCESSED”，并输出

目标2：程序读取txt文件，经过SpringBatch后，统一加入如上字段，并输出

SpringBatch的流程

读取数据----itemReader
处理数据----itemProcess
数据写入----itemWrite

分析目标可知，两个目标的输入数据源不同，处理方式基本一致，数据完成后的写入规则一致

由此可以分段完成代码

itemReader

目标一

这里没有使用SpringBatch自带的集中reader，所以自定义了随机生成字符串的reader

这里代码并不完善，reader会无线循环生成随机字符串，但不影响本次学习的目的

publicclassMyItemReaderimplementsItemReader{
@Override
publicStringread()throwsException,UnexpectedInputException,ParseException,NonTransientResourceException{
returnRandomStringUtils.randomAlphabetic(10);
}
}

目标二

由于是读取文件中的内容，所以不用自定义reader实现，可直接使用FlatFileItemReader，在Batch的config中配置即可

@Bean
publicItemReadertextReader(){

FlatFileItemReaderreader=newFlatFileItemReader<>();
Filefile=newFile("D:\\FTP\\ttest.txt");
reader.setResource(newFileSystemResource(file));
reader.setLineMapper(newLineMapper(){
@Override
publicStringmapLine(Stringline,intlineNumber)throwsException{
returnline;
}
});
returnreader;

}

itemProcess

这里采用同一种处理方式即可

publicclassMyItemProcessorimplementsItemProcessor{

@Override
publicStringprocess(Strings)throwsException{
returns+"---------PROCESSED";
}
}

itemWriter

也采用同一种即可

publicclassMyItemWriterimplementsItemWriter{
@Override
publicvoidwrite(Listitems)throwsException{
for(Stringitem:items){
System.out.println(item);
}
}
}

配置完成BatchConfig

@Configuration
@EnableBatchProcessing
publicclassBatchConfigurationextendsDefaultBatchConfigurer{

@Autowired
publicStepBuilderFactorystepBuilderFactory;
@Autowired
publicJobBuilderFactoryjobBuilderFactory;

@Bean
publicMyItemProcessorprocessor(){
returnnewMyItemProcessor();
}

@Bean
publicItemWriterwriter(){
returnnewMyItemWriter();
}

@Bean
publicItemReadertextReader(){
FlatFileItemReaderreader=newFlatFileItemReader<>();
Filefile=newFile("D:\\FTP\\ttest.txt");
reader.setResource(newFileSystemResource(file));
reader.setLineMapper(newLineMapper(){
@Override
publicStringmapLine(Stringline,intlineNumber)throwsException{
returnline;
}
});
returnreader;
}

@Bean
publicItemReaderstringReader(){
returnnewMyItemReader();
}

@Override
publicvoidsetDataSource(DataSourcedataSource){
super.setDataSource(dataSource);
}

@Bean
publicStepmyStep(){
returnstepBuilderFactory
.get("step1")
//这个chunksize是最后调用写入的时候，一次性写入多少条已处理的数据
.chunk(10)
//.reader(textReader())
.reader(stringReader())
.processor(processor())
.writer(writer())
.build();

}

@Bean
publicJobMyJob(){
returnjobBuilderFactory
.get("MyJOB")
.listener(newJobExecutionListenerSupport(){
//所有处理结束后调用
@Override
publicvoidafterJob(JobExecutionjobExecution){
if(jobExecution.getStatus()==BatchStatus.COMPLETED){
System.out.println("OK");
}
}
})
.flow(myStep())
.end()
.build();
}
}

结束

最后直接运行springboot程序即可

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

Spring Batch批处理框架使用解析

热门推荐

随机推荐