如何解决Spring Batch最佳的架构方法,用于合并具有巨大容量的多个XML
- 问题摘要
我们需要处理大量(1000万个)XML。
-
每个发票均由多个xml组成。每个发票的xml的合并路径在另一个xml中可用。
示例-Invoice.xml包含x1.xml + x2.xml + x3.xml + x4.xml的绝对路径
-
Invoice.xml文件路径在数据库中可用,我们需要先阅读
-
打开每个Invoice.xml并获取xmls(x1.xml,x2.xml)的路径,并合并在一起并编写为1 XML
-
合并的xml还需要通过一些其他信息来丰富。
- 我们尝试的内容-主从分区器使用JAXB读取xml并使用SAXEventWriter进行写入
- 分区程序从数据库中读取10000个invoice.xml文件路径,并分为30个从属(网格30)
- 每个从属定制阅读器读取JAXB中的Invoice.xml并将所有文件路径数据加载到Object。
- 处理器仅获取1个发票对象,其中包含所有xml,并将通过其他内容进行充实 信息。
- 写者写出丰富的对象(发票)。
- 我们的问题是
- 如何在MultiResourceItemReader中实现它。
- 在尝试使用MultiResourceItemReader时,我们将每个组件xml作为处理器中的Item对象获取,并且性能下降。
- 以其他更好的方式处理Spring批处理。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。