代码之家 › 专栏 › 技术社区 › kee

用于合并阵列的配置单元聚合函数

hive-udf hiveql

kee · 技术社区 · 7 年前

我需要在HiveSQL中将数组合并到GROUP BY中。表架构如下所示:

key int,
value ARRAY<int>

下面是我要运行的SQL:

SELECT key, array_merge(value)
FROM table_above
GROUP BY key

如果这个array\u merge函数只保留唯一的值,那就更好了,但不是必须这样。

干杯 K

2 回复 | 直到 7 年前

Keith 3 年前

没有UDAF来执行这种操作。以下查询应该会产生相同的结果,而不会产生太大的开销(继续运行一个map和一个reduce操作)来删除重复项

select key, collect_set(explodedvalue) from (
  select key, explodedvalue from table_above lateral view explode(value) e as explodedvalue
) t group by key;

推荐文章

Parv Bali · 在配置单元中加载数据时出现架构问题

6 年前

user2205916 · HiveQL:构建成对比较表

6 年前

fcce · 配置单元将字符串转换为字符数组

6 年前

Anupam Alok · 如何根据存储在列中的JSON标记从列中获取数据

6 年前

Learn Hadoop · 配置单元-SQL插入记录

6 年前

user2205916 · 设置COLLECT\u时的情况

6 年前

ankit pundir · HIveQL:是否有任何方法可以使用所附图像中提到的SQL将分号分隔的值转换为多列

7 年前

Melz · 如何比较两个配置单元表记录

7 年前

Naveenan · 使用cluster by提高配置单元查询性能

7 年前

kee · 用于合并阵列的配置单元聚合函数

7 年前