代码之家 › 专栏 › 技术社区 › sjishan

Pyspark:读取对象之间没有分隔符的JSON数据文件

amazon-kinesis-firehose databricks pyspark apache-spark json

sjishan · 技术社区 · 7 年前

我有一个kinesis firehose交付流,将数据放入S3。然而,在数据文件中,json对象之间没有分隔符。看起来是这样的,

{
  "key1" : "value1",
  "key2" : "value2"
}{
  "key1" : "value1",
  "key2" : "value2"
}

在Apache Spark中,我这样做是为了读取数据文件,

df = spark.read.schema(schema).json(path, multiLine=True)

这只能读取文件中的第一个json对象,其余对象被忽略,因为没有分隔符。

如何使用解决spark中的此问题?

1 回复 | 直到 4 年前

Ramesh Maharjan 7 年前

您可以使用 sparkContext 的 wholeTextFiles api来读取 json文件 进入 Tuple2(filename, whole text) , 将整个文本解析为多行JSON ,然后最终使用 sqlContext 将其理解为 json到数据帧 .

sqlContext\
    .read\
    .json(sc
          .wholeTextFiles("path to your multiline json file")
          .values()
          .flatMap(lambda x: x
                   .replace("\n", "#!#")
                   .replace("{#!# ", "{")
                   .replace("#!#}", "}")
                   .replace(",#!#", ",")
                   .split("#!#")))\
    .show()

你应该 dataframe 像

+------+------+
|  key1|  key2|
+------+------+
|value1|value2|
|value1|value2|
+------+------+

但是,您可以根据需要修改代码

推荐文章

lonix · 使用sed从JSON中提取非贪婪正则表达式

1 年前

Ishaan Adarsh · 未知的META规范,无法验证。[规范v1.0.1]

1 年前

Henry · 使用Python将json重新格式化为键值对

2 年前

eymentakak · json字典类型错误:字符串索引必须是整数

2 年前

igbins09 · 在shell bash脚本中使用jq将单行JSON转换为csv

2 年前

Gnome-Improvement713 · POST正文未使用JSON通过cURL发送

2 年前

Julien T-Pro · 如何在python中删除数组对象中的空列表?

2 年前

Vodka · 如何将单个json对象转换为json数组?

2 年前

Alper · 从json转换为数据帧?

2 年前

user19251203 · ReactJs:Uncaught TypeError:无法读取未定义的属性(读取“0”)

2 年前