代码之家 › 专栏 › 技术社区 › vortex

Spark中块矩阵乘法的误差

google-cloud-dataproc google-cloud-platform pyspark python

vortex · 技术社区 · 7 年前

我创建了一个坐标矩阵cmat,有900万行和85K列。我想执行cmat。T*cmat操作。

bmat = cmat.toBlockMatrix(1000, 1000)

但是,我在执行multiply()时出错:

mtm = bmat.transpose.multiply(bmat)

回溯(最近一次呼叫最后一次): 文件“”,第1行,in

在谷歌云平台DataProc上,Spark版本为2.2.0,scale版本为2.11.8。有没有关于如何修复错误的建议?

1 回复 | 直到 7 年前

MaFF 7 年前

错误是操作的结果 bmat.transpose blockMatrix multiply .

你只是失踪了 ()

mtm = bmat.transpose().multiply(bmat)

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前