代码之家  ›  专栏  ›  技术社区  ›  Apurba Pandey

批量Apache Livy请求体中的Spark AppName

  •  0
  • Apurba Pandey  · 技术社区  · 6 年前

    如何在从ApacheLivy提交批处理作业时设置Spark应用程序名?

    1 回复  |  直到 6 年前
        1
  •  1
  •   lvnt    6 年前

    你可以用 name 在您的帖子请求中添加标签。

    import json
    import requests
    
    host = 'http://ip:8998/batches'
    headers = {'Content-Type': 'application/json'}
    
    data = {
        'file': '/path/to/spark.jar',
        'className': 'class.to.Job',
        'numExecutors': 2,
        'executorMemory': '512m',
        'driverMemory': '512m',
        'name': 'Name your application'
    }
    r = requests.post(host, data=json.dumps(data), headers=headers)