代码之家 › 专栏 › 技术社区 › ScalaBoy

orientdb:java.lang.illegalargumentException属性值不能为空

orientdb apache-spark-sql apache-spark scala

ScalaBoy · 技术社区 · 6 年前

我正在将带有图形边缘的数据帧保存在OrientDB数据库中。但是,我得到以下错误:

FAILED, exitCode: 15, (reason: User class threw exception: java.lang.RuntimeException: An exception was thrown: Job aborted due to stage failure: Task 0 in stage 96.0 failed 4 times, most recent failure: Lost task 0.3 in stage 96.0 (TID 7333, myambarislave2.local.test.org, executor 1): java.lang.IllegalArgumentException: Property value can not be null

我不能手动修改数据框架,因为它很大。但是我用 .na.fill(0) .

df_edges
  .na.fill(0)
  .coalesce(1)
  .write
  .format("org.apache.spark.orientdb.graphs")
  .option("dburl", uri)
  .option("user", username)
  .option("password", password)
  .option("vertextype", "User")
  .option("edgetype", "UserEdge")
  .mode(SaveMode.Overwrite)
  .save()

我如何解决这个问题?

用户类:

val user: OrientVertexType = graph.createVertexType("User")
user.createProperty("CommunityId", OType.INTEGER)
user.createProperty("CommunityName", OType.STRING)
user.createProperty("UserId", OType.INTEGER)
user.createProperty("UserName", OType.STRING)
user.createProperty("NumberOfInfluencedUsers", OType.INTEGER)
user.createProperty("AuthorEngagementRate", OType.DOUBLE)
user.createProperty("Role_In", OType.STRING)
user.createProperty("Role_Out", OType.STRING)
user.createProperty("OutDegree", OType.INTEGER)

1 回复 | 直到 6 年前

Shaido MadHadders 6 年前

这里的问题是由于并非所有列都是数字。更具体地说,具有空值的列不是数字。使用时 na.fill(0) spark将仅用与0匹配的类型(即所有数值列)替换列中的空值。

要替换字符串列中的空值,最简单的方法是使用 na.fill("0") 并将“0”替换为要替换的内容。否则,可以使用 na.drop() .

如果要根据列填充不同的值,可以使用 Map .这还有一个好处,即能够为不同类型的列设置不同的值。例如:

df.na.fill(Map(
  "A" -> "Undefined",
  "B" -> 0.0
))

若要更进一步,可以自动创建 地图 取决于列类型:

val typeMap = df.dtypes.map(col => 
  col._2 match {
    case "IntegerType" => (col._1 -> 0)
    case "StringType" => (col._1 -> "Undefined")
    case "DoubleType" => (col._1 -> 0.0)
}).toMap

推荐文章

davidzxc574 · 将字符串缩放为字符

2 年前

yic_l · 什么是“!”在这个函数中是什么意思?

2 年前

Jelly · Scala:用于理解递归未来

2 年前

to.mane · Scala—如何使用接收对象作为参数的构造函数创建类

2 年前

bbgghh · 在scala中连接两个列表时如何处理不匹配的键

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

B. Bal · 在Scala中重用类成员

2 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

2 年前

S.Hashiba · 哪个名称空间是正确的,“com.typesafe.sbt”还是“com.github.sbt”?

2 年前