代码之家  ›  专栏  ›  技术社区  ›  Mehdi LAMRANI

配置单元表在SPARK中可用,但在配置单元CLI中不显示

  •  0
  • Mehdi LAMRANI  · 技术社区  · 6 年前

    这个问题可能是 this one

    我在齐柏林飞艇上运行了以下简单代码:

    %spark2.pyspark
    from pyspark.sql import HiveContext
    sqlContext = HiveContext(sc)
    
    df = sqlContext.read.format("csv").option("header", "false").option("mode", "DROPMALFORMED").load("/data/data1.csv")
    df.write.mode('overwrite').saveAsTable("default.hive_spark");
    

    然后:

    %spark2.pyspark
    sqlDF = spark.sql("show tables")
    sqlDF.show()
    

    它显示:

    +--------+----------------+-----------+
    |database|       tableName|isTemporary|
    +--------+----------------+-----------+
    | default|      hive_spark|      false|
    +--------+----------------+-----------+
    

    但是当我登录到配置单元CLI时(用户:配置单元)此表不显示:

    0: jdbc:hive2://ip-xxx.eu-west-3.com>USE default;
    0: jdbc:hive2://ip-xxx.eu-west-3.com>SHOW TABLES;
    
    +-----------+
    | tab_name  |
    +-----------+
    | hive_test |
    +-----------+
    

    我试过了

    sqlContext.uncacheTable("default.hive_spark")
    

    我很困惑。

    0 回复  |  直到 6 年前
        1
  •  0
  •   Bishamon Ten    4 年前

    使用HiveWareHouseConnector,因为您正在使用hive2