代码之家  ›  专栏  ›  技术社区  ›  Dhruv Kapur

部署如何与气流协同工作?

  •  0
  • Dhruv Kapur  · 技术社区  · 7 年前

    dockerfile .

    我正在将我的dag部署到 /usr/local/airflow/dags 目录到调度程序的容器中。

    我可以使用以下命令运行我的dag:

    $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e 2016-02-01 
    

    BashOperator(command = "test.sh" ... )
    

    操作员运行 test.sh 剧本

    测试.sh 引用其他文件,如 callme.sh ,然后我收到“找不到文件”错误。

    e.g
    $ pwd
    /usr/local/airflow/dags/myworkflow.py
    
    $ ls
    myworkflow.py
    test.sh
    callme.sh
    
    $ cat test.sh
    echo "test file"
    ./callme.sh
    
    $ cat callme.sh
    echo "got called"
    

    在运行myworkflow时,调用test的任务。调用了sh,但由于没有找到callme.sh而失败。

    1 回复  |  直到 7 年前
        1
  •  0
  •   Him    7 年前

    对于Cellery executor,您有责任确保每个工人都拥有运行作业所需的所有文件。