1. 首页
  2. 问题
  3. 将JSON文件读入Spark时_corrupt_record错误
一尘不染

将JSON文件读入Spark时_corrupt_record错误

json

我有这个JSON文件

{
    "a": 1, 
    "b": 2
}

这是通过Python json.dump方法获得的。现在，我想使用pyspark将此文件读入Spark中的DataFrame中。根据文档，我正在这样做

sc = SparkContext（）

sqlc = SQLContext（sc）

df = sqlc.read.json（’my_file.json’）

打印df.show（）

print语句虽然说明了这一点：

+---------------+
|_corrupt_record|
+---------------+
|              {|
|       "a": 1, |
|         "b": 2|
|              }|
+---------------+

任何人都知道发生了什么事以及为什么它无法正确解释文件？


阅读 592

收藏
2020-07-27

共1个答案

一尘不染

您的输入文件中每行需要有一个json对象，请参阅http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader.json

如果您的json文件看起来像这样，它将为您提供预期的数据帧：

{ "a": 1, "b": 2 }
{ "a": 3, "b": 4 }

....
df.show()
+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  3|  4|
+---+---+
2020-07-27