从磁盘加载大型json文件时出现内存不足异常

一尘不染

从磁盘加载大型json文件时出现内存不足异常

json

我有一个1.2 GB的json文件，当反序列化时，应该给我一个包含15百万个对象的列表。

我要反序列化的计算机是具有16核心和32 GB Ram的Windows 2012服务器（64位）。

该应用程序已针对x64构建。

尽管有这种情况，当我尝试读取json文档并将其转换为我遇到内存不足异常的对象列表时。当我查看任务管理器时，我发现仅使用了5GB内存。

我尝试的代码如下。

一个。

 string plays_json = File.ReadAllText("D:\\Hun\\enplays.json");

                plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);

b。

 string plays_json = "";
        using (var reader = new StreamReader("D:\\Hun\\enplays.json"))
        {
            plays_json = reader.ReadToEnd();
            plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);
        }

C。

 using (StreamReader sr = File.OpenText("D:\\Hun\\enplays.json"))
        {
            StringBuilder sb = new StringBuilder();
            sb.Append(sr.ReadToEnd());
            plays_json = sb.ToString();
            plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);
        }

衷心感谢所有帮助

阅读 598

2020-07-27

共1个答案

一尘不染

问题在于您正在将整个大文件读入内存，然后尝试一次将其全部反序列化为一个大列表。您应该使用StreamReader来逐步处理文件。即使您在其中使用StreamReader，问题中的示例（b）也不会删除它，因为您仍在通过读取整个文件ReadToEnd()。您应该改为执行以下操作：

using (StreamReader sr = new StreamReader("D:\\Hun\\enplays.json"))
using (JsonTextReader reader = new JsonTextReader(sr))
{
    var serializer = new JsonSerializer();

    while (reader.Read())
    {
        if (reader.TokenType == JsonToken.StartObject)
        {
            // Deserialize each object from the stream individually and process it
            var playdata = serializer.Deserialize<playdata>(reader);

            ProcessPlayData(playdata);
        }
    }
}

该ProcessPlayData方法应该处理单个playdata对象，然后理想地将结果写入文件或数据库，而不是内存中列表（否则，您可能会再次回到相同的情况）。如果必须将处理每个项目的结果存储到内存列表中，则可能需要考虑使用链接列表或类似的结构，该结构不会尝试在一个连续的块中分配内存，并且不需要重新分配和复制需要扩展时。

2020-07-27