代码之家  ›  专栏  ›  技术社区  ›  user2811630

有没有办法通过web ui提交spark作业?

  •  4
  • user2811630  · 技术社区  · 7 年前

    enter image description here

    有没有办法通过spark web界面提交作业?

    2 回复  |  直到 6 年前
        1
  •  3
  •   Prasad Khode    7 年前

    是的,有一种方法可以通过web应用程序触发Spark job。

    我试了这么久,但我没有确切的文档

    我会尽量解释我记忆中的步骤,你可以给出一个 射击

    您可以使用 oozie 做同样的事

    1. 创建shell脚本以提交此spark作业并将此文件放入hdfs

    2. job.properties workflow.xml 特定于oozie

    3. 工作流。xml 文件到hdfs

    4. 使用提交oozie作业 工作属性

    5. oozie/webapp/ROOT

    6. Web应用程序将使用oozie rest服务与正在运行的oozie作业进行交互

    更新:

    建立 spark-jobserver library

    希望这能帮助你。。。

    一如既往,如果我的回答对你有帮助,请接受或投票……:)

        2
  •  2
  •   gsamaras    7 年前

    .