代码之家  ›  专栏  ›  技术社区  ›  DhruvJoshi

使用ADF将元数据添加到数据湖文件

  •  0
  • DhruvJoshi  · 技术社区  · 3 年前

    Azure数据工厂v2有一个获取元数据活动,可以读取ADLS中存储的文件的元数据。它可以在移动/复制文件时保留文件上的元数据。 但是,有没有一种方法可以使用ADF在湖文件上添加或修改元数据?

    0 回复  |  直到 3 年前
        1
  •  1
  •   Paulo Correia    3 年前

    是的,有办法。

    您可以使用Azure Blob存储API:

    set-blob-metadata method for Blob Storage

    数据湖只是底层Blob存储引擎的扩展

    因此,您可以在管道中连接一个web活动,并调用指向blob的rest api,它将为您设置元数据。

        2
  •  1
  •   Leon Yue    3 年前

    文件上传后,元数据由data Lake(存储)创建。

    除非删除并重新上传到Data Lake(或Stroage),否则无法更改这些属性。其他一些人也提出了同样的问题,即如何在堆栈溢出中更改此元数据。你可以通过搜索很容易地找到这些。

    但是,如果在Data Lake中修改文件的内容,例如添加或删除列 size , columnCount structure 可以改变。

    因此,对于“是否有方法使用ADF在湖文件上添加或修改元数据?”这个问题,答案是否定的。

    HTP。

    推荐文章