如何在Mongoskin中使用无序批量插入？

一尘不染

如何在Mongoskin中使用无序批量插入？

node.js

我在使用Mongoskin在Node上执行批量插入（MongoDB 2.6+）时遇到麻烦。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
});

上面的代码给出以下警告/错误：

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

是否可以使用Mongoskin执行无序批量操作？如果是这样，我在做什么错？

阅读 238

2020-07-07

共1个答案

一尘不染

您可以执行此操作，但是您需要更改调用约定才能执行此操作，因为只有“回调”形式实际上会返回.initializeUnorderedBulkOp()可以从其调用方法的集合对象。您认为此用法的方式也存在一些差异：

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

因此，实际的“批量”方法本身不需要回调并且可以完全按照文档中的说明工作。该exeception是.execute()其实际发送的语句到服务器。

尽管驱动程序会为您解决一些问题，但在调用execute之前先排队太多操作可能不是一个好主意。这基本上是在内存中建立的，尽管驱动程序一次只能发送1000个批次（这是服务器的限制，并且整个批次都在16MB以下），但您可能希望在此处进行更多控制，至少限制内存使用。

这就是所示模数测试的重点，但是如果对构建操作的内存和可能非常大的响应对象来说不成问题，那么您可以继续排队操作并调用.execute()一次。

“响应”的格式与BulkWriteResult文档中给出的格式相同。

2020-07-07