代码之家  ›  专栏  ›  技术社区  ›  Kapil

如何在emr presto集群上验证metastore缓存?

  •  0
  • Kapil  · 技术社区  · 4 年前

    我正在EMR上运行一个presto集群,主要评估metastore缓存对查询规划的影响。我使用glue作为metastore,我在athena上的性能一直很差,因为这些查询非常复杂,包括许多表和函数。当我第二次在emr-presto集群上运行两次查询时,计划时间几乎是第一次的一半,但是不管我是否设置配置单元.metastore-是否缓存ttl。有没有什么方法可以证明这一点配置单元.metastore-如果设置了cache ttl,则配置单元连接器实际上并没有调用glue和使用缓存的元数据。我找不到任何办法。

    0 回复  |  直到 4 年前