代码之家  ›  专栏  ›  技术社区  ›  Nikolay Baranenko

为Hive客户机添加带有辅助JAR的路径

  •  0
  • Nikolay Baranenko  · 技术社区  · 6 年前

    我有HDP 2.6.1.0-129

    我有用于序列化Flume数据文件的外部jar example.jar。

    我在自定义配置单元站点部分添加了新的参数

    name = hive.aux.jars.path
    value hdfs:///user/libs/
    

    确实保存了新的配置并重新启动了Hadoop组件,在更多时间内重新启动了所有Hadoop集群。

    在进入Hive客户机后,我确实尝试运行Select

    select * from example_serealized_table
    

    Hive返回错误

    FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.ClassNotFoundException: Class com.my.bigtable.example.model.gen.TSerializedRecord not found)
    

    如何解决这个问题?

    附笔

    如果尝试加载当前会话,

    add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;
    

    尝试将*.jar放入本地文件夹。 问题相同。

    1 回复  |  直到 6 年前
        1
  •  0
  •   Nikolay Baranenko    6 年前

    我没有说图书馆写了我的同事写了一本图书馆。 事实证明,它重新定义了影响该字段日志记录级别的变量。 排除了库中被重写的变量后,复制问题确实停止了。