代码之家  ›  专栏  ›  技术社区  ›  Fakrudeen

Azure Flink中src文件系统上的资源已更改

  •  0
  • Fakrudeen  · 技术社区  · 6 年前

    ./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
    

    org.apache.flink.client.deployment.ClusterDeploymentException: 
    Couldn't deploy Yarn session cluster
    
    Caused by: 
    
    Failing this attempt.Diagnostics: 
    [2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
    application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
    changed on src filesystem (expected 1540341676000, was 1540341677000
    
    java.io.IOException: 
        at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)
    

    这似乎是因为wasb blob存储没有保留复制文件的原始时间戳,从而破坏了wasb之上的hdfsapi抽象。

    我唯一能找到的线索是 Oozie/yarn: resource changed on src filesystem

    1 回复  |  直到 6 年前
        1
  •  0
  •   Fakrudeen    6 年前

    我们把它降到了1.4.x,它现在在Azure集群中运行良好。