代码之家  ›  专栏  ›  技术社区  ›  Xavier Prudent

如何检查我的火花盘是否工作?

  •  0
  • Xavier Prudent  · 技术社区  · 6 年前

    我在Ubuntu18.04上安装了Spark 2.3.0,有两个节点:主节点(ip:172.16.10.20)和从节点(ip:172.16.10.30)。我可以检查一下这个火花簇是否正常运行

    jps -lm | grep spark
    14165 org.apache.spark.deploy.master.Master --host 172.16.10.20 --port 7077 --webui-port 8080
    13701 org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://172.16.10.20:7077
    

    我尝试使用这个简单的R脚本(使用SparkyR包):

    library(sparklyr)
    library(dplyr)
    # Set your SPARK_HOME path                                                                                                                                                       
    Sys.setenv(SPARK_HOME="/home/master/spark/spark-2.3.0-bin-hadoop2.7/")
    config <- spark_config()
    # Optionally you can modify config parameters here                                                                                                                               
    
    sc <- spark_connect(master = "spark://172.16.10.20:7077", spark_home = Sys.getenv("SPARK_HOME"), config = config)
    # Some test code, copying data to Spark cluster                                                                                                                                  
    iris_tbl <- copy_to(sc, iris)
    src_tbls(sc)
    
    spark_apply(iris_tbl, function(data) {
       return(head(data))
    })
    

    所有命令都执行得很好,很顺利(但对我来说有点慢),spark日志保存在一个临时文件中。查看日志文件时,我没有看到从属节点,这让我想知道,这个Spark是否真的在集群模式下运行。

    我如何检查主从关系是否真的有效?

    2 回复  |  直到 6 年前
        1
  •  0
  •   Chandan Ray    6 年前

    你的情况请查收

    172.16.10.20:8080 url并打开executors选项卡以查看运行的executors的数量

        2
  •  0
  •   devesh    6 年前

    这里是URL

    http://[driverHostname]:4040 by default
    
    http://<master-ip>:8080(webui-port)
    

    Additional info on a monitor and inspect Spark job executions

    command based status check stack question