代码之家 › 专栏 › 技术社区 › tero17

读取大文件的最佳方式spring boot

file-processing spring-batch spring-boot

0

tero17 · 技术社区 · 6 年前

我使用spring boot和angular开发了一个应用程序,可以跟踪日志文件中的订单(高达1gb)。我愿意听取您关于spring中读取、处理和验证文件的最佳解决方案的建议,我只考虑过spring batch,但还有其他可靠的解决方案吗

1 回复 | 直到 6 年前

1

2

tero17 6 年前

好的,在进行了充分的研究之后,我讨论了各种解决方案,我认为这个链接是值得的: https://www.java-success.com/processing-large-files-efficiently-java-part-1/

问题3:不同的数据大小是什么,可以使用什么技术来处理它们? 通常,数据大小可按如下所示进行分类。

1) 小尺寸数据为<10 GB多个文件。当您通过流处理它们以节省内存时,它适合于一台机器的内存。可以使用Java的文件处理API、Apache commons文件API、Spring批处理框架或Java EE 7批处理框架。

2) 多个文件中的中等大小数据为10 GB到1 TB。适用于单机磁盘空间。通过拆分或流式处理它们,因为您无法将所有内容读入内存。可以使用Spring批处理框架或Java EE 7批处理框架。

3) 大数据是>多个文件中有1 TB。跨多台机器存储并以分布式方式处理。E、 g.运行map reduce或Spark作业。