将行插入MySQL数据库的最有效方法

一尘不染

将行插入MySQL数据库的最有效方法

mysql

我已经读过很多关于这个的问题，但是我找不到足够快的问题。我认为有更好的方法将大量行插入MySQL数据库

我使用以下代码将100k插入到MySQL数据库中：

public static void CSVToMySQL()
{
    string ConnectionString = "server=192.168.1xxx";
    string Command = "INSERT INTO User (FirstName, LastName ) VALUES (@FirstName, @LastName);";
    using (MySqlConnection mConnection = new MySqlConnection(ConnectionString))
    {
        mConnection.Open();

        for(int i =0;i< 100000;i++) //inserting 100k items
        using (MySqlCommand myCmd = new MySqlCommand(Command, mConnection))
        {
            myCmd.CommandType = CommandType.Text;
            myCmd.Parameters.AddWithValue("@FirstName", "test");
            myCmd.Parameters.AddWithValue("@LastName", "test");
            myCmd.ExecuteNonQuery();
        }
    }
}

这需要100k行，大约需要40秒。我怎样才能使它更快或更有效？

通过DataTable / DataAdapter或一次插入多个行可能会更快：

INSERT INTO User (Fn, Ln) VALUES (@Fn1, @Ln1), (@Fn2, @Ln2)...

由于安全问题，我无法将数据加载到文件中，无法将其MySQLBulkLoad加载。

阅读 265

2020-05-17

共1个答案

一尘不染

这是我的“多次插入”代码。

插入100k行只用了 3秒， 而不是40 秒！

public static void BulkToMySQL()
{
    string ConnectionString = "server=192.168.1xxx";
    StringBuilder sCommand = new StringBuilder("INSERT INTO User (FirstName, LastName) VALUES ");           
    using (MySqlConnection mConnection = new MySqlConnection(ConnectionString))
    {
        List<string> Rows = new List<string>();
        for (int i = 0; i < 100000; i++)
        {
            Rows.Add(string.Format("('{0}','{1}')", MySqlHelper.EscapeString("test"), MySqlHelper.EscapeString("test")));
        }
        sCommand.Append(string.Join(",", Rows));
        sCommand.Append(";");
        mConnection.Open();
        using (MySqlCommand myCmd = new MySqlCommand(sCommand.ToString(), mConnection))
        {
            myCmd.CommandType = CommandType.Text;
            myCmd.ExecuteNonQuery();
        }
    }
}

创建的SQL语句如下所示：

INSERT INTO User (FirstName, LastName) VALUES ('test','test'),('test','test'),... ;

更新：感谢 Salman A， 我添加了MySQLHelper.EscapeString以避免使用参数时在内部使用的代码注入。

2020-05-17