代码之家 › 专栏 › 技术社区 › K S Nidhin

在具有ORC/Parquet文件格式的巨大配置单元表中,列具有相同值的影响

orc parquet hive hadoop

K S Nidhin · 技术社区 · 4 年前

假设我有一个parquet hive表,第5列和第8列的值总是“HELLO”。

0 回复 | 直到 4 年前

Uwe L. Korn 4 年前

至少在Parquet文件中,列是独立压缩的。在一行中多次使用相同的值通常会得到很好的压缩,但是复制一个列也意味着所需存储的重复。

对于拼花地板,压缩方案大致如下:

每列,拆分成行组(通常每个文件一个,有时更多,但通常很少)。对每个行组的值进行编码(编码通常是字典编码或运行长度编码)。在16KiB/1MiB边界上大致分割编码行,称为“pages”。使用GZIP或ZStandard等通用压缩编解码器分别压缩每个页面。

推荐文章

ÐÐ½Ð´ÑÐµÐ¹ Ð¡Ð¼Ð¸ÑÐ½Ð¾Ð² · 通过xplpath从xml加载字段时出现问题

2 年前

Mayank Bandral · pig中下面提到的数据的模式应该是什么?

6 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

6 年前

OOvic · Spark Java API中的连接行数据集

6 年前

enodmilvado · avahi守护程序是否应该在hadoop群集计算机上运行?

6 年前

LearningNinja · 火花执行人。spark submit中忽略了extraJavaOptions

6 年前

ForeverLearner · 当我在Hive中使用OpenCSVSerde时,为什么所有列都被创建为字符串?

6 年前

tooptoop4 · apache ranger with hive插件-需要持久化哪些对象

6 年前

Rupesh More · 合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

6 年前