代码之家  ›  专栏  ›  技术社区  ›  stevec Zxeenu

读取数据的最快方式。装入一个闪亮的应用程序?

  •  0
  • stevec Zxeenu  · 技术社区  · 4 年前

    对于存储库中包含单个静态数据文件的闪亮应用程序,该平面文件(以及读取该文件的相应函数)的最佳格式是什么?该格式可以最大限度地缩短该平面文件读取数据的时间。框架

    例如,假设当一个闪亮的应用程序启动时,它会读取 .RDS ,但假设这需要约30秒,我们希望减少这一时间。有什么方法可以保存文件并使用可以节省时间的函数吗?

    以下是我已经知道的:

    • 我一直在读一些速度比较的文章,但似乎没有一篇文章能够在一个闪亮的应用程序(以及可能的内核/线程含义)的上下文中对所有方法进行全面的基准测试。有些人给出了合理的建议,比如 trying to load in less data
    • 我注意到像julia这样的语言有时会更快,但我不确定使用另一种语言读取文件是否会有帮助,因为它必须转换为R识别的对象,而且这个过程可能比最初作为R对象读取需要更长的时间
    • 我注意到相同的文件在保存为时似乎更小 .RDS 与…相比 .csv 然而,我不确定文件大小是否一定会影响读取时间。
    0 回复  |  直到 4 年前