创建多个小文件的性能

物理驱动器IO不是这里的瓶颈吗?如果写入4200rpm驱动器,而写入10000rpm驱动器,而写入超高速ssd,则可能会得到不同的结果。

我很难说没有自己编写测试应用程序,但磁盘访问无论如何都会同步,所以你不会有多个线程同时写入磁盘。如果在写入每个文件之前进行了相当数量的处理,您可以通过使用线程来加快性能。

如果可以使用 ramdisk 它可能会大大加快速度。

如果可能的话,不要把它们都写在同一个目录中。许多文件系统在处理包含大量文件的目录时速度会减慢。(我曾经让我们的文件服务器在工作,它通常为整个办公室提供愉快的服务,通过将数千个文件写到同一个目录而屈服)。

相反,为大约1000个文件创建一个新目录。