截断表后刷新缓存的数据帧

这个 truncate table 命令删除缓存的数据,然后取消缓存并清空表。 HERE 是的源 truncate 。如果您按照该链接访问 TruncateTableCommand ,在case类的底部,您将看到以下内容,了解在表被截断时如何处理缓存和表:

// After deleting the data, invalidate the table to make sure we don't keep around a stale
// file relation in the metastore cache.
spark.sessionState.refreshTable(tableName.unquotedString)
// Also try to drop the contents of the table from the columnar cache
try {
  spark.sharedState.cacheManager.uncacheQuery(spark.table(table.identifier))
} catch {
  case NonFatal(e) =>
    log.warn(s"Exception when attempting to uncache table $tableIdentWithDB", e)
}

if (table.stats.nonEmpty) {
  // empty table after truncation
  val newStats = CatalogStatistics(sizeInBytes = 0, rowCount = Some(0))
  catalog.alterTableStats(tableName, Some(newStats))
}
Seq.empty[Row]

你永远不应该依赖 cache 正确性。火花 隐藏物 是性能优化,即使是最具防御性的 StorageLevel ( MEMORY_AND_DISK_SER_2 )不保证在工作人员故障、执行器退役或资源不足的情况下保留数据。

与问题中使用的代码类似的代码可能在某些条件下工作,但不要假设它是有保证的或确定性的行为。