代码之家 › 专栏 › 技术社区 › topherW

AWS EMR Presto使用AWS Glue无法找到正确的配置单元模式

presto emr hive amazon-web-services

topherW · 技术社区 · 7 年前

因此,我无法通过AWS EMR执行Presto查询。

我已经启动了一个运行hive/presto并使用AWS Glue作为元存储的EMR。

如果然后进入Presto CLI并运行“show schemas on hive”,我只会看到两个“default”和“information\u schema”

就我而言,我无法理解为什么普雷斯托不能看到相同的蜂巢模式。

这是EMR上的基本默认集群启动,主要使用默认设置。

有人能告诉我应该找什么方向吗?我已经检查过蜂箱了。属性文件,这看起来很好,我只是不知道为什么普雷斯托不能看到相同的信息作为蜂巢。

我有以下配置集

[{"classification":"hive-site", "properties":{"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}, "configurations":[]}]

AWS文件 http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html 让它看起来应该是即插即用的,但我显然错过了一些东西

3 回复 | 直到 7 年前

mostafazh 6 年前

从开始 亚马逊电子病历发布版本5.10.0 你可以。简单地说,设置蜂箱。元存储。胶数据目录。enabled属性为true,如下所示:

[
  {
    "Classification": "presto-connector-hive",
    "Properties": {
      "hive.metastore.glue.datacatalog.enabled": "true"
    }
  }
]

也可以手动设置 hive.metastore.glue.datacatalog.enabled=true 在 /etc/presto/conf/catalog/hive.properties 主节点上的文件。如果使用此方法时,请确保 hive.table-statistics-enabled=false 在属性文件中设置因为数据目录不支持配置单元表和分区统计数字如果将长期运行的集群上的值更改为切换元存储时,必须在主服务器上重新启动Presto服务器 sudo restart presto-server ).

来源 : AWS Docs

TomB 6 年前

看起来这已经在emr-5.10中解决了。您要添加以下配置:

{"Classification":"presto-connector-hive","Properties":{"hive.metastore.glue.datacatalog.enabled": "true"}}

资料来源: https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html

Sayat Satybald 6 年前

Presto最近的0.198版本现在支持AWS Glue作为元数据源。

添加对使用AWS Glue作为元存储的支持。通过设置启用

https://prestodb.io/docs/current/release/release-0.198.html

推荐文章

Anna Berezko · AWS匹配不支持的TLD域名和S3 bucket静态网站

1 年前

R0bert2 · Ansible-使用with_项创建列表

2 年前

renzCNFT · 与s3相比,workdocs有什么优势

2 年前

Eva · Github与AWS codecommit镜像和同步的操作

2 年前

Heritage Squad · 如何使节点组模块中的每个实例都使用特定的安全组?

2 年前

Christian Townsend · 如何从Terraform中的ElastiCache获取cache_节点地址?

2 年前

Hasham · 如何将多个本地文件上载到s3中的一个文件

2 年前

shesupplypi · 如何将一个应用程序或服务的无服务器输出引用到另一个应用程序或服务?

2 年前

sebas flores · S3 URL-使用python下载

2 年前

Ibrahim Patel · AWS CloudWatch Error“尝试获取图形数据时出错。”

2 年前