读取大文件的最佳方式spring boot

好的,在进行了充分的研究之后,我讨论了各种解决方案,我认为这个链接是值得的: https://www.java-success.com/processing-large-files-efficiently-java-part-1/

问题3:不同的数据大小是什么,可以使用什么技术来处理它们? 通常,数据大小可按如下所示进行分类。

1) 小尺寸数据为<10 GB多个文件。当您通过流处理它们以节省内存时,它适合于一台机器的内存。可以使用Java的文件处理API、Apache commons文件API、Spring批处理框架或Java EE 7批处理框架。

2) 多个文件中的中等大小数据为10 GB到1 TB。适用于单机磁盘空间。通过拆分或流式处理它们,因为您无法将所有内容读入内存。可以使用Spring批处理框架或Java EE 7批处理框架。

3) 大数据是>多个文件中有1 TB。跨多台机器存储并以分布式方式处理。E、 g.运行map reduce或Spark作业。