代码之家  ›  专栏  ›  技术社区  ›  Amelio Vazquez-Reina

扫描外部表(S3数据)时红移频谱的成本控制

  •  1
  • Amelio Vazquez-Reina  · 技术社区  · 6 年前

    雅典娜 有一些违约 service limits 有帮助的~ 帽子 S3中大型数据池上意外“失控”查询的成本。它们不太好(基于~时间,而不是扫描的数据量),但仍然有帮助。

    那怎么办 红移光谱 ? 它提供了哪些机制可以很容易地用于 资本成本 或者减轻“意外”扫描S3上单个失控查询中过多数据的风险?解决这个问题的好办法是什么?

    1 回复  |  直到 6 年前
        1
  •  4
  •   Joe Harris    6 年前

    Amazon Redshift允许您使用 WLM Query Monitoring Rules .

    有两种可用的频谱指标: Spectrum scan size (查询扫描的mb数)和 Spectrum scan row count (查询扫描的行数)。

    你也可以使用 Query execution time 强制执行最大持续时间,但这将适用于所有查询类型而不仅仅是频谱。

    请注意,这些是抽样指标。查询不会在超出规则的确切时间点中止,而是在下一个采样间隔中止。

    如果您已经在集群上运行了频谱查询,那么可以使用我们的脚本开始使用QMR wlm_qmr_rule_candidates 生成候选规则。生成的规则基于每个度量的第99个百分点。