使用Json.net以JSON格式流式传输大量数据

一尘不染

使用Json.net以JSON格式流式传输大量数据

json

使用MVC模型，我想编写一个JsonResult，它将Json字符串流式传输到客户端，而不是一次将所有数据转换成Json字符串，然后将其流回客户端。我有一些动作需要在Json传输时发送非常大的记录（超过300,000条记录），我认为基本的JsonResult实现是不可伸缩的。

我正在使用Json.net，我想知道是否有一种方法可以在转换Json字符串时流化它的块。

//Current implementation:
response.Write(Newtonsoft.Json.JsonConvert.SerializeObject(Data, formatting));
response.End();

//I know I can use the JsonSerializer instead
Newtonsoft.Json.JsonSerializer serializer = new Newtonsoft.Json.JsonSerializer();
serializer.Serialize(textWriter, Data);

但是我不确定如何将这些块写入textWriter并写入响应并调用reponse.Flush（），直到将所有300,000条记录都转换为Json。

这有可能吗？

阅读 440

2020-07-27

共1个答案

一尘不染

假设您的最终输出是一个JSON数组，并且每个“块”都是该数组中的一项，则可以尝试以下JsonStreamingResult类。它使用a
JsonTextWriter将JSON写入输出流，并使用a
JObject作为一种手段来分别序列化每个项目，然后再将其写入编写器。您可以传递JsonStreamingResult一个IEnumerable实现，该实现可以从数据源中单独读取项目，这样您就不会一次将它们全部存储在内存中。我尚未对此进行广泛的测试，但是它应该使您朝正确的方向前进。

public class JsonStreamingResult : ActionResult
{
    private IEnumerable itemsToSerialize;

    public JsonStreamingResult(IEnumerable itemsToSerialize)
    {
        this.itemsToSerialize = itemsToSerialize;
    }

    public override void ExecuteResult(ControllerContext context)
    {
        var response = context.HttpContext.Response;
        response.ContentType = "application/json";
        response.ContentEncoding = Encoding.UTF8;

        JsonSerializer serializer = new JsonSerializer();

        using (StreamWriter sw = new StreamWriter(response.OutputStream))
        using (JsonTextWriter writer = new JsonTextWriter(sw))
        {
            writer.WriteStartArray();
            foreach (object item in itemsToSerialize)
            {
                JObject obj = JObject.FromObject(item, serializer);
                obj.WriteTo(writer);
                writer.Flush();
            }
            writer.WriteEndArray();
        }
    }
}

2020-07-27