如何解决使用Spring Batch无法读取大文件8GB
我有6,000万条CSV记录,大小约为8 GB。
需要从文件读取记录,然后使用JPA将其插入数据库。
尝试使用Spring Batch读取此文件,但是性能非常慢。我将最大块大小添加到1500的行,但是没有用。
还添加了任务执行器来创建线程,但是没有用。
系统配置。 2天xlarge 16 GiB内存和4个vCPU,16GB RAM和4个核心cpu
@Bean
public Step step3() {
return stepBuilder
.get("step3")
.<main_Data,main_Data>chunk(1500)
.reader(this.mainDataReader)
.processor(this.main_data_processor)
.writer(this.mainDataWriter).taskExecutor(taskExecutor())
.build();
}
@Bean
public TaskExecutor taskExecutor(){
SimpleAsyncTaskExecutor simpleAsyncTaskExecutor = new SimpleAsyncTaskExecutor();
simpleAsyncTaskExecutor.setConcurrencyLimit(5);
return simpleAsyncTaskExecutor;
}
也可以尝试
@Bean
public TaskExecutor taskExecutor2() {
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
executor.setCorePoolSize(64);
executor.setMaxPoolSize(64);
executor.setQueueCapacity(64);
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
executor.setThreadNamePrefix("MultiThreaded-");
return executor;
}
我也尝试过使用OpenCsv,但是使用Opencsv获得重复的记录。
关于Spring批处理性能或以其他方式读取此文件的建议吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。