代码之家 › 专栏 › 技术社区 › topherW

AWS EMR Presto使用AWS Glue无法找到正确的配置单元模式

presto emr hive amazon-web-services

topherW · 技术社区 · 7 年前

因此,我无法通过AWS EMR执行Presto查询。

我已经启动了一个运行hive/presto并使用AWS Glue作为元存储的EMR。

如果然后进入Presto CLI并运行“show schemas on hive”,我只会看到两个“default”和“information\u schema”

就我而言,我无法理解为什么普雷斯托不能看到相同的蜂巢模式。

这是EMR上的基本默认集群启动,主要使用默认设置。

有人能告诉我应该找什么方向吗?我已经检查过蜂箱了。属性文件,这看起来很好,我只是不知道为什么普雷斯托不能看到相同的信息作为蜂巢。

我有以下配置集

[{"classification":"hive-site", "properties":{"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}, "configurations":[]}]

AWS文件 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html 让它看起来应该是即插即用的,但我显然错过了一些东西

3 回复 | 直到 7 年前

mostafazh 6 年前

从开始 亚马逊电子病历发布版本5.10.0 你可以。简单地说,设置蜂箱。元存储。胶数据目录。enabled属性为true,如下所示:

[
  {
    "Classification": "presto-connector-hive",
    "Properties": {
      "hive.metastore.glue.datacatalog.enabled": "true"
    }
  }
]

也可以手动设置 hive.metastore.glue.datacatalog.enabled=true 在 /etc/presto/conf/catalog/hive.properties 主节点上的文件。如果使用此方法时,请确保 hive.table-statistics-enabled=false 在属性文件中设置因为数据目录不支持配置单元表和分区统计数字如果将长期运行的集群上的值更改为切换元存储时,必须在主服务器上重新启动Presto服务器 sudo restart presto-server ).

来源 : AWS Docs

TomB 7 年前

看起来这已经在emr-5.10中解决了。您要添加以下配置:

{"Classification":"presto-connector-hive","Properties":{"hive.metastore.glue.datacatalog.enabled": "true"}}

资料来源: https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html

Sayat Satybald 7 年前

Presto最近的0.198版本现在支持AWS Glue作为元数据源。

添加对使用AWS Glue作为元存储的支持。通过设置启用

https://prestodb.io/docs/current/release/release-0.198.html

推荐文章

Suanmeiguo · 为什么集群模式下的Spark-on-thread会因“线程中的异常”驱动程序“java.lang.NullPointerException”而失败?

7 年前

CyberPlayerOne · Amazon DynamoDB:警告“DynamoDB表JobDetails的配置写入吞吐量小于集群映射容量”

7 年前

Charles Green · AWS EMR Spark未使用自定义Jar加载MainClass

7 年前

WomenWhoCode · 在EMR上运行Spark应用程序速度较慢

7 年前

Yuriy Bondaruk · 具有多个加密密钥提供程序的EMR

7 年前

Markus · 如何按需创建EMR集群并执行aws EMR命令?

7 年前

user3407267 · 如何获取集群信息以调用REST API(从驱动程序中)?

7 年前

Alex · nginx反向代理以不同的方式处理请求url

7 年前

topherW · AWS EMR Presto使用AWS Glue无法找到正确的配置单元模式

7 年前

Milos Bejda · 在齐柏林飞艇中添加spark csv依赖项会产生网络错误

7 年前