如何使客户端下载动态生成的非常大的文件

一尘不染

如何使客户端下载动态生成的非常大的文件

redis

我有一个导出功能，可以读取整个数据库并使用所有记录创建一个.xls文件。然后将文件发送到客户端。

当然，导出完整数据库的时间需要很多时间，并且该请求很快会因超时错误而结束。

处理这种情况的最佳解决方案是什么？

例如，我听说过有关使用Redis进行队列的操作，但这需要两个请求：一个用于启动将生成文件的作业，第二个用于下载生成的文件。

来自客户端的单个请求是否可能？

阅读 237

2020-06-20

共1个答案

一尘不染

Excel导出：

使用流。以下是一个大概的想法：

使用exceljs模块。因为它具有针对此确切问题的流API。
```
var Excel = require('exceljs')
```
由于我们正在尝试启动下载。编写适当的标题以响应。

        res.status(200);
    res.setHeader('Content-disposition', 'attachment; filename=db_dump.xls');
    res.setHeader('Content-type', 'application/vnd.ms-excel');

创建一个由Streaming Excel writer支持的工作簿。提供给writer的流是服务器响应。

        var options = {
        stream: res, // write to server response
        useStyles: false,
        useSharedStrings: false
    };

    var workbook = new Excel.stream.xlsx.WorkbookWriter(options);

现在，所有输出流均已设置。对于输入流，最好使用将查询结果/光标作为流提供的DB驱动程序。
定义将1个表转储到1个工作表的异步函数。

       var tableToSheet = function (name, done) {
        var str = dbDriver.query('SELECT * FROM ' + name).stream();
        var sheet = workbook.addWorksheet(name);

        str.on('data', function (d) {
            sheet.addRow(d).commit(); // format object if required
        });

        str.on('end', function () {
            sheet.commit();
            done();
        });

        str.on('error', function (err) {
            done(err);
        });
    }

现在，让我们使用异步模块的mapSeries导出一些数据库表：

        async.mapSeries(['cars','planes','trucks'],tableToSheet,function(err){
       if(err){
         // log error
       }
       res.end();
    })

CSV导出：

对于单个表/收集模块的CSV导出，可以使用fast-csv：

    // response headers as usual
    res.status(200);
    res.setHeader('Content-disposition', 'attachment; filename=mytable_dump.csv');
    res.setHeader('Content-type', 'text/csv');

    // create csv stream
    var csv = require('fast-csv');
    var csvStr = csv.createWriteStream({headers: true});

    // open database stream
    var dbStr = dbDriver.query('SELECT * from mytable').stream();

    // connect the streams
    dbStr.pipe(csvStr).pipe(res);

现在，您正在将数据从数据库流式传输到HTTP响应，并快速将其转换为xls / csv格式。无需将全部数据缓冲或存储在内存或文件中。

2020-06-20