在Apache Spark中读取多行JSON

一尘不染

在Apache Spark中读取多行JSON

json

我试图将JSON文件用作小型数据库。在DataFrame上创建模板表后，我使用SQL查询了该表并得到了异常。这是我的代码：

val df = sqlCtx.read.json("/path/to/user.json")
df.registerTempTable("user_tt")

val info = sqlCtx.sql("SELECT name FROM user_tt")
info.show()

df.printSchema() 结果：

root
 |-- _corrupt_record: string (nullable = true)

我的JSON文件：

{
  "id": 1,
  "name": "Morty",
  "age": 21
}

展品：

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'name' given input columns: [_corrupt_record];

我该如何解决？

UPD

_corrupt_record 是

+--------------------+
|     _corrupt_record|
+--------------------+
|                   {|
|            "id": 1,|
|    "name": "Morty",|
|           "age": 21|
|                   }|
+--------------------+

UPD2

这很奇怪，但是当我重写JSON以使其成为一体时，一切正常。

{"id": 1, "name": "Morty", "age": 21}

所以问题出在newline。

UPD3

我在文档中发现了下一个句子：

请注意，以json文件形式提供的文件不是典型的JSON文件。每行必须包含一个单独的，自包含的有效JSON对象。因此，常规的多行JSON文件通常会失败。

将JSON保持这种格式并不方便。是否有任何解决方法摆脱JSON的多行结构或将其转换为oneliner？

阅读 630

2020-07-27

共1个答案

一尘不染

火花 > = 2.2

Spark 2.2引入了可用于加载JSON（非JSONL）文件的选项： ~~wholeFile~~ multiLine

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

看到：

SPARK-18352 - 解析正常，多行的JSON文件（不只是JSON线） 。
SPARK-20980 - 重命名选项wholeFile来multiLine对JSON和CSV。

火花 <2.2

好吧，使用JSONL格式的数据可能会带来不便，但我将认为这不是API的问题，而是格式本身的问题。JSON并非设计为在分布式系统中并行处理。

它不提供任何模式，并且不对其格式和形状做一些非常具体的假设，几乎不可能正确识别顶级文档。可以说，这是想像在Apache
Spark等系统中使用的最糟糕的格式。在分布式系统中编写有效的JSON也非常棘手，并且通常不切实际。

话虽如此，如果单个文件是有效的JSON文档（单个文档或文档数组），则可以随时尝试wholeTextFiles：

spark.read.json(sc.wholeTextFiles("/path/to/user.json").values())

2020-07-27