代码之家 › 专栏 › 技术社区 › uh_big_mike_boi

齐柏林飞艇笔记本执行非手动

spark-submit apache-zeppelin apache-spark-sql apache-spark

uh_big_mike_boi · 技术社区 · 7 年前

有没有一种方法可以在齐柏林飞艇笔记本中执行spark代码,而不必交互执行?我在寻找一些具体的东西,或者如果有人能给我指出正确的方向。或者,以其他方式提交spark代码,该代码目前在齐柏林飞艇笔记本中。我不能使用spark submit的原因是由于安全原因,没有命令行访问。

1 回复 | 直到 7 年前

zero323 little_kid_pea 7 年前

齐柏林飞艇提供了RESTAPI,除其他功能外,该API可以用于运行任何一个单独的段落 synchronously

http://[zeppelin-server]:[zeppelin-port]/api/notebook/run/[noteId]/[paragraphId]

http://[zeppelin-server]:[zeppelin-port]/api/notebook/job/[noteId]/[paragraphId]

http://[zeppelin-server]:[zeppelin-port]/api/notebook/job/[noteId]

也可以从笔记本本身和RESTAPI中定义CRON作业。

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

2 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

2 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

2 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

2 年前

amol visave · spark作业失败时会发生什么?

2 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

2 年前

chun · pyspark dataframe在s3中两次写入csv文件

2 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

2 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前