Python展平多级/嵌套JSON

一尘不染

Python展平多级/嵌套JSON

json

我正在尝试将JSON转换为CSV文件，可用于进一步分析。我的结构存在的问题是，当我转换JSON文件时，我有很多嵌套的字典/列表。

我尝试使用pandas json_normalize()，但它只会使第一级扁平化。

import json
import pandas as pd
from pandas.io.json import json_normalize
from cs import CloudStack

api_key = xxxx
secret = xxxx
endpoint = xxxx

cs = CloudStack(endpoint=endpoint,
                key=api_key,
                secret=secret)

virtual_machines = cs.virtMach()

test = json_normalize(virtual_machines["virtualmachine"])

test.to_csv("test.csv", sep="|", index=False)

任何想法如何讨好整个JSON文件，以便我可以为单个（在本例中为虚拟机）条目创建到CSV文件的单行输入？我已经尝试过这里发布的几种解决方案，但是我的结果始终只是将第一级展平。

这是示例JSON（在这种情况下，我仍然将“ securitygroup”和“ nic”输出作为JSON格式输出：

{
    "count": 13,
    "virtualmachine": [
        {
            "id": "1082e2ed-ff66-40b1-a41b-26061afd4a0b",
            "name": "test-2",
            "displayname": "test-2",
            "securitygroup": [
                {
                    "id": "9e649fbc-3e64-4395-9629-5e1215b34e58",
                    "name": "test",
                    "tags": []
                }
            ],
            "nic": [
                {
                    "id": "79568b14-b377-4d4f-b024-87dc22492b8e",
                    "networkid": "05c0e278-7ab4-4a6d-aa9c-3158620b6471"
                },
                {
                    "id": "3d7f2818-1f19-46e7-aa98-956526c5b1ad",
                    "networkid": "b4648cfd-0795-43fc-9e50-6ee9ddefc5bd"
                    "traffictype": "Guest"
                }
            ],
            "hypervisor": "KVM",
            "affinitygroup": [],
            "isdynamicallyscalable": false
        }
    ]
}

谢谢您，最好的问候，Bostjan

阅读 959

2020-07-27

共1个答案

一尘不染

感谢gyx-hh，此问题已解决：

我使用了以下函数（可以在此处找到详细信息）：

def flatten_json(y):
    out = {}

    def flatten(x, name=''):
        if type(x) is dict:
            for a in x:
                flatten(x[a], name + a + '_')
        elif type(x) is list:
            i = 0
            for a in x:
                flatten(a, name + str(i) + '_')
                i += 1
        else:
            out[name[:-1]] = x

    flatten(y)
    return out

不幸的是，这会完全拉平整个JSON，这意味着，如果您具有多级JSON（许多嵌套字典），则可能会将所有内容拉平成具有成行列的单行。

最后使用的是json_normalize()我需要的特定结构。可以在这里找到如何做到这一点的好例子。

希望这可以帮助某人，并再次感谢gyx-hh解决方案。

最好的祝福

2020-07-27