MongoDB在添加已填充集合的新碎片时无法正确缩放

这是因为散列切分和平衡是如何工作的。

在空集合中(从 Shard an Empty Collection ):

sharding操作创建空块以覆盖shard键值的整个范围,并执行初始块分布。默认情况下,该操作为每个碎片创建2个块并跨集群迁移。

所以如果你执行 sh.shardCollection() 在群集中 x 碎片数量,它将为每个碎片创建2个块,并将它们分布到各个碎片上,总计 2x 集群中的块。因为集合是空的,所以移动块只需要很少的时间。你的摄取量现在将均匀地分布在碎片上(假设其他情况,例如哈希字段的基数很好)。

现在如果你添加一个新的碎片 之后 块已创建,碎片开始为空,平衡器将开始使用 Migration Thresholds . 在已填充的集合中,此过程可能需要一段时间才能完成。

如果在平衡器仍在移动块(现在可能不是空的)的同时执行另一个摄取,那么集群现在同时执行两个不同的任务:1)摄取,2)平衡。

当你用一个碎片做这个并添加另一个碎片时,很可能你摄入的数据块仍然位于碎片1中,并且还没有移动到新的碎片,所以大多数数据将进入该碎片。

因此,在添加新碎片之后,您应该等到集群达到平衡后再执行另一次摄取。平衡后,摄入的负荷应该更均匀地分布。

注: 因为你的碎片钥匙是 file_id ,我假设每个文件的大小大致相同(100 MB)。如果一些文件比其他文件大得多,那么一些块也会比其他文件更忙。