代码之家 › 专栏 › 技术社区 › Darshan Mehta

在数据流中执行聚合

google-cloud-bigtable apache-beam google-cloud-dataflow google-cloud-platform java

Darshan Mehta · 技术社区 · 6 年前

Bigtable filter 并执行聚合。我使用以下配置来获取 connection 到 (执行范围扫描等):

Connection connection = BigtableConfiguration.connect(projectId, instanceId);
Table table = connection.getTable(TableName.valueOf(tableId)); 

table.getScanner(<a scanner with filter>);

ResultScanner 我可以迭代这些行。但是,我要做的是,对某些列执行聚合并获取值。我想做的SQL等价物是:

SELECT SUM(A), SUM(B)
FROM table
WHERE C = D;

HBase AggregationClient (javadoc文件) here )但是,它需要 Configuration 大表 (这样我就不需要使用低级别的Hbase api)。

我查看了文档,没有找到任何可以这样做的东西(在Java中)。有人能分享一个例子吗 aggregation 在BigTable上使用(非行键或任何)筛选器。

2 回复 | 直到 6 年前

Solomon Duskis 6 年前

WHERE C = D ,因此这种类型的处理通常最好在客户端完成。

AggregationClient 是HBase协处理器。Cloud Bigtable不支持协处理器。

如果您想将Cloud Bigtable用于这种类型的聚合,则必须使用 table.scan() 还有你自己的逻辑。如果规模足够大,则必须使用Dataflow或BigQuery来执行聚合。

ACGray 6 年前

PCollection<TableRow> rows = p.apply(BigQueryIO.readTableRows()
  .fromQuery("SELECT A, B FROM table;"));

PCollection<KV<String, Integer>> valuesA =
  rows.apply(
    MapElements.into(TypeDescriptors.kvs(
      TypeDescriptors.strings(),
      TypeDescriptors.integers()))
      .via((TableRow row) -> KV.of(
        "A", (Integer) row.getF().get(0).getV())));

PCollection<KV<String, Integer>> valuesB =
  rows.apply(
    MapElements.into(TypeDescriptors.kvs(
      TypeDescriptors.strings(),
      TypeDescriptors.integers()))
      .via((TableRow row) -> KV.of(
        "B", (Integer) row.getF().get(1).getV())));

PCollection<KV<String, Integer>> sums =
  PCollectionList.of(sumOfA).and(sumOfB)
    .apply(Flatten.pCollections())
    .apply(Sum.integersPerKey());

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

6 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

6 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

6 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

6 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

6 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

6 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

6 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

6 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

6 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

6 年前