在Python中加载大型JSON列表的最佳方法是什么？

一尘不染

在Python中加载大型JSON列表的最佳方法是什么？

json

我可以访问一组文件（每个文件约80-800mb）。不幸的是，每个文件中只有一行。该行仅包含一个JSON对象（列表列表）。加载并将其解析为较小的JSON对象的最佳方法是什么？

阅读 179

2020-07-27

共1个答案

一尘不染

这是他们提出的解决方案：

import json
with open('file.json') as infile:
  o = json.load(infile)
  chunkSize = 1000
  for i in xrange(0, len(o), chunkSize):
    with open('file_' + str(i//chunkSize) + '.json', 'w') as outfile:
      json.dump(o[i:i+chunkSize], outfile)

2020-07-27