一尘不染

Python + MySQL-批量插入

mysql

我正在使用Python中的MySQLdb模块与数据库进行交互。我遇到的情况是有一个非常大的列表(成千上万个元素),需要将它们作为行插入表中。

我现在的解决方案是生成一个大的INSERT语句作为字符串并执行它。

有没有更聪明的方法?


阅读 574

收藏
2020-05-17

共1个答案

一尘不染

有一种更聪明的方法。

批量插入的问题在于,默认情况下启用了自动提交功能,从而导致每个insert语句在下一次插入可以启动之前被保存到稳定存储中。

如手册页所述:

默认情况下,MySQL在启用自动提交模式的情况下运行。这意味着,一旦执行更新(修改)表的语句,MySQL就会将更新存储在磁盘上以使其永久保存。要禁用自动提交模式,请使用以下语句:

SET autocommit=0;

通过将autocommit变量设置为0来禁用自动提交模式后,对事务安全表(例如InnoDB,BDB或NDBCLUSTER的表)的更改不会立即变为永久更改。您必须使用COMMIT将更改存储到磁盘,或者使用ROLLBACK忽略更改。

这是RDBMs系统的一个相当普遍的功能,它假定数据库的完整性至关重要。它确实使批量插入的时间约为每个插入1s,而不是1ms。生成超大插入语句的替代方法尝试实现此单次提交,但有可能使SQL解析器过载。

2020-05-17