代码之家 › 专栏 › 技术社区 › sidhartha pani

如何命名节点更新Hadoop中HDFS写入的数据节点的可用性

hadoop-streaming hadoop2 hadoop

sidhartha pani · 技术社区 · 7 年前

我有10个数据节点,复制因子为3,文件大小为150,块大小为64。因此,文件将被拆分为三个块B1、B2和B3。因此,客户端询问Name Node是否有数据节点可用于写入B1块。我的问题是,将通过名称节点向客户端提供多少数据节点来写入B1块。还有一个问题是B1、B2、B3的写入将如何并行或顺序进行

1 回复 | 直到 7 年前

piyush pankaj 7 年前

数据将由客户端仅写入一个datanode,其余复制由datanode本身在namenode指令上负责。 Replica placement :当datanode从客户端接收块的数据时,datanode将数据保存在一个表示块的文件中,同时将数据重新发送到另一个datanode,该datanode应创建块的另一个副本。
块按顺序复制

推荐文章

ÐÐ½Ð´ÑÐµÐ¹ Ð¡Ð¼Ð¸ÑÐ½Ð¾Ð² · 通过xplpath从xml加载字段时出现问题

2 年前

Mayank Bandral · pig中下面提到的数据的模式应该是什么?

6 年前

aiman · Hive-2.3.2 metastore with MySQL无法启动

6 年前

OOvic · Spark Java API中的连接行数据集

6 年前

enodmilvado · avahi守护程序是否应该在hadoop群集计算机上运行?

6 年前

LearningNinja · 火花执行人。spark submit中忽略了extraJavaOptions

6 年前

ForeverLearner · 当我在Hive中使用OpenCSVSerde时,为什么所有列都被创建为字符串?

6 年前

tooptoop4 · apache ranger with hive插件-需要持久化哪些对象

6 年前

Rupesh More · 合流HDFS接收器连接器:如何配置自定义hadoop用户和组?

6 年前