代码之家 › 专栏 › 技术社区 › R zu

选择将Dask阵列保存到hdf5文件的模式

dask python

R zu · 技术社区 · 6 年前

当我将dask数组保存到hdf5文件时,我可以选择文件模式吗?

这个 to_hdf5 方法没有 mode 关键字。

测试:

import dask.array as da
a = da.arange(12, chunks=3)
a.to_hdf5('a.hdf5', '/a', mode='a')

结果:

...
TypeError: make_new_dset() got an unexpected keyword argument 'mode'

1 回复 | 直到 6 年前

mdurant 6 年前

根据 docs , to_hdf() 使用 h5py.File.create_dataset 并将参数传递给它——即,默认情况下,它将附加到现有文件/数据集。或者,如果您希望更多地控制如何编写数据,则下面的示例 .store() 可能会发光:

>>> import h5py  
>>> f = h5py.File('myfile.hdf5')  
>>> dset = f.create_dataset('/data', shape=x.shape,
...                                  chunks=x.chunks,
...                                  dtype='f8')  
>>> store(x, dset)

这基本上是一样的,但是您可以以任何方便的方式创建文件和数据集- store() 只需要一个类似numpy数组的接口。

推荐文章

Bo Qiang · 使用dask对非常大的数据进行排序?

6 年前

Minsky · 对于具有Dask阵列和/或h5py的环路

6 年前

rth · Dask中具有可重用自定义图的机会缓存

6 年前

morganics · 删除Dask中的空分区

6 年前

Pablo · 使用dask。纸袋从\u序列计算核密度估计

6 年前

Magnus Berg Sletfjerding · Dask的imread返回MemoryError-在导入时更改块大小

6 年前

thebeancounter · python dask数据帧将元组列拆分为两列

7 年前

thebeancounter · python dask数据帧-连接groupby。将输出应用于单个数据帧

7 年前

Julian C · dask按聚合正确使用

7 年前

vva · 如何使用Dask在yarn上运行并行python作业?

7 年前