代码之家 › 专栏 › 技术社区 › Charles R

Python Dask-读取具有不同列名的多个文件

dask pandas python

Charles R · 技术社区 · 6 年前

我每年每个月都有12份文件。

一月档案

                    Jan
index_0 | index_1 | 

bla     | bla     |   3

二月档

                    Feb
index_0 | index_1 | 

bla     | bla     |   2

df = dd.read_csv(
    location + "*.txt", 
    sep=';',
    header=0
)

输出

                    Jan
index_0 | index_1 | 

bla     | bla     |   3
bla     | bla     |   2

预期产量

                    Month  | Value
index_0 | index_1 | 

bla     | bla     |   Jan        3
bla     | bla     |   Feb        2

如何将月份保存在数据框中?

1 回复 | 直到 6 年前

mdurant 6 年前

当你想要习惯性行为 read_csv 提供,您应该转向 dask.delayed :

def load_func(fn):

    df = pd.read_csv(
        location + "*.txt", 
        sep=';',
        header=0
    )
    df['month'] = df.columns[0]
    df.columns = ['value', 'month']
    return df


ddf = dd.from_delayed([dask.delayed(load_func)(fn) for fn in files])

推荐文章

Bo Qiang · 使用dask对非常大的数据进行排序?

7 年前

Minsky · 对于具有Dask阵列和/或h5py的环路

7 年前

rth · Dask中具有可重用自定义图的机会缓存

7 年前

morganics · 删除Dask中的空分区

7 年前

Pablo · 使用dask。纸袋从\u序列计算核密度估计

7 年前

Magnus Berg Sletfjerding · Dask的imread返回MemoryError-在导入时更改块大小

7 年前

thebeancounter · python dask数据帧将元组列拆分为两列

7 年前

thebeancounter · python dask数据帧-连接groupby。将输出应用于单个数据帧

7 年前

Julian C · dask按聚合正确使用

7 年前

vva · 如何使用Dask在yarn上运行并行python作业?

7 年前