使用多个JSON对象加载和解析JSON文件

一尘不染

使用多个JSON对象加载和解析JSON文件

json

我正在尝试在Python中加载和解析JSON文件。但是我在尝试加载文件时遇到了困难：

import json
json_data = open('file')
data = json.load(json_data)

产量：

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

我看着 18.2。json— Python文档中的
JSON编码器和解码器
，但是通读这个看起来糟透了的文档非常令人沮丧。

前几行（用随机条目匿名）：

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

阅读 348

2020-07-27

共1个答案

一尘不染

您有一个JSON Lines格式的文本文件。您需要逐行解析文件：

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

每行都包含有效的JSON，但总的来说，它不是有效的JSON值，因为没有顶级列表或对象定义。

请注意，由于该文件每行包含JSON，因此您无需尝试一次全部解析或找出流JSON解析器的麻烦。现在，您可以选择在继续进行下一行之前分别处理每一行，从而节省了进程中的内存。如果文件很大，您可能不想将每个结果附加到一个列表中，
然后再 处理所有内容。

如果您有一个文件，其中包含带有分隔符的单个JSON对象，请使用如何使用“
json”模块一次读取一个JSON对象使用缓冲方法解析单个对象。

2020-07-27