代码之家 › 专栏 › 技术社区 › kris

HDFS与HIVE分区

partitioning cloudera hdfs hive hadoop

kris · 技术社区 · 7 年前

这可能是一件简单的事情,但我正在努力找到答案。当数据加载到HDFS时,其将被分发并加载到多个节点。数据是分区和分布的。

2 回复 | 直到 7 年前

matz3 6 年前

总结评论,对于Hadoop v1-v2.x:

通过在设置hdfs期间定义分区,可以在本地或分布式节点上对hdfs存储进行“分区”,请参阅 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5/bk_cluster-planning/content/ch_partitioning_chapter.html
HDFS能够在节点上“平衡”或“分布”块
在本机上,块不能被HDF根据其内容拆分和分发到文件夹,只能整体移动到另一个节点
块(不是文件!)根据HDFS复制因子在HDFS群集中复制:
```
$ hdfs fsck /
```

args 7 年前

HDFS分区:主要处理节点上文件的存储。为了实现容错,文件跨集群复制(使用复制因子)

Hive分区:这是Hive中的一种优化技术。分区提供了有关数据如何存储在配置单元中以及如何读取数据的信息。

推荐文章

Michael Kiroff · Quicksort 3-way分区代码没有按要求执行

7 年前

Mister Babu · 将n写成k个数之和的方法数

7 年前

tabtimm · 按相对比例缩放圆尺寸维恩图

7 年前

tabtimm · 如何在维恩图中显示原始值和百分比

7 年前

billhubb84 · 带有PostgreSQL的Zabbix分区清理脚本在检查是否处于恢复状态后返回空行

7 年前

curi0usJack · XenServer 7.2 parted mkpart错误

7 年前

kris · HDFS与HIVE分区

7 年前

Muhammad Rehan Saeed · Power BI中是否不支持DocumentDB分区集合?

8 年前

iSi · 通过分区控制Impala中的数据位置

10 年前

Valrok · 通过脚本验证系统分区对齐

11 年前