代码之家 › 专栏 › 技术社区 › Gaurang Shah

scala-如何避免使用可变列表和强制转换

apache-spark scala

Gaurang Shah · 技术社区 · 3 年前

我已经编写了以下代码,这些代码运行良好。但是,我想检查一下是否有一种方法可以避免使用可变列表和将数据类型从any转换为字符串。

import scala.collection.mutable.ListBuffer

val databases = spark.catalog.listDatabases.select($"name").collect().map(_(0)).toList
var tables= new ListBuffer[String]()
databases.foreach{database =>
  val t = spark.catalog.listTables(database.asInstanceOf[String]).filter($"isTemporary" === false).filter($"tableType" =!= "VIEW").select($"name").collect.map(database+"."+_(0).asInstanceOf[String]).toList
  tables = tables ++ t
}
tables.foreach(println)

0 回复 | 直到 3 年前

Dima 3 年前

您可以使用行解构器来消除铸造:

   val databases: List[String] = listDatabases.select($"name").collect().map { 
      case Row(name: String) => name
   }.to[List]

至于可变性,只需使用 flatMap 而不是 foreach :

val tables = databases.flatMap { db => listTables(db).filter .... }

推荐文章

davidzxc574 · 将字符串缩放为字符

2 年前

yic_l · 什么是“!”在这个函数中是什么意思?

2 年前

Jelly · Scala:用于理解递归未来

2 年前

to.mane · Scala—如何使用接收对象作为参数的构造函数创建类

2 年前

bbgghh · 在scala中连接两个列表时如何处理不匹配的键

2 年前

OdiumPura · 使用JDBC(Sql server)查询tempview

2 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

2 年前

B. Bal · 在Scala中重用类成员

2 年前

RomanGoltsov · Scala、Cassandra、Quill、Need impl logget批处理模式

2 年前

S.Hashiba · 哪个名称空间是正确的,“com.typesafe.sbt”还是“com.github.sbt”?

2 年前