Python的硬件问题

对于大文件,pandas可以分块读取。

chunksize = 10 ** 6
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

看看 documentation 属于 read_csv . 有一个参数叫做 nrows . 它指出:

nrows:int,默认为None

要读取的文件行数。用于读取大文件的片段

一次只能读取几行代码,这样就不会将整个文件加载到RAM中。

顺便说一下:使用类似于:

with open(my_file) as f:
    for line in f:
        ...

一次只能将一行加载到内存中。

您可能正在加载RAM中的所有数据,从而分配所有可用内存,迫使系统依赖交换内存(将临时数据写入磁盘,这要慢得多)。

如果将数据分割成适合内存的块,就可以解决这个问题。可能每个1 GB?