使用Django将数千条记录插入SQLite表的有效方法是什么？

一尘不染

使用Django将数千条记录插入SQLite表的有效方法是什么？

django

我必须使用Django的ORM将8000多个记录插入SQLite数据库。此操作需要作为cronjob大约每分钟运行一次。
目前，我正在使用for循环遍历所有项目，然后将它们一个接一个地插入。
例：

for item in items:
    entry = Entry(a1=item.a1, a2=item.a2)
    entry.save()

什么是有效的方法？

编辑：两种插入方法之间的一点比较。

没有commit_manually装饰器（11245个记录）：

nox@noxdevel marinetraffic]$ time python manage.py insrec             

real    1m50.288s
user    0m6.710s
sys     0m23.445s

使用commit_manually装饰器（11245条记录）：

[nox@noxdevel marinetraffic]$ time python manage.py insrec                

real    0m18.464s
user    0m5.433s
sys     0m10.163s

注意：除了将脚本插入数据库（下载ZIP文件，从ZIP存档中提取XML文件，解析XML文件）之外，测试脚本还执行其他一些操作，因此执行所需的时间不一定代表插入所需的时间。记录。

阅读 345

2020-03-30

共1个答案

一尘不染

django.db.transaction.commit_manually。

http://docs.djangoproject.com/en/dev/topics/db/transactions/#django-db-transaction-commit-manually

因此，它将类似于：

from django.db import transaction

@transaction.commit_manually
def viewfunc(request):
    ...
    for item in items:
        entry = Entry(a1=item.a1, a2=item.a2)
        entry.save()
    transaction.commit()

只会提交一次，而不是每个save（）。

在django 1.3中，引入了上下文管理器。因此，现在你可以以类似的方式使用transaction.commit_on_success（）：

from django.db import transaction

def viewfunc(request):
    ...
    with transaction.commit_on_success():
        for item in items:
            entry = Entry(a1=item.a1, a2=item.a2)
            entry.save()

在django 1.4中，bulk_create添加了它，使你可以创建模型对象的列表，然后一次提交所有对象。

注意使用批量创建时，不会调用save方法。

>>> Entry.objects.bulk_create([
...     Entry(headline="Django 1.0 Released"),
...     Entry(headline="Django 1.1 Announced"),
...     Entry(headline="Breaking: Django is awesome")
... ])

在django 1.6中，引入了transaction.atomic，旨在取代现在的遗留函数commit_on_success和commit_manually。

从atom的django 文档中：

原子既可以用作装饰器：

from django.db import transaction

@transaction.atomic
def viewfunc(request):
    # This code executes inside a transaction.
    do_stuff()

并作为上下文管理器：

from django.db import transaction

def viewfunc(request):
    # This code executes in autocommit mode (Django's default).
    do_stuff()

    with transaction.atomic():
        # This code executes inside a transaction.
        do_more_stuff()

2020-03-30