一尘不染

Django Celery记录最佳做法

django

我正在尝试让Celery日志记录与一起使用Django。我已经登录设置settings.py进入控制台(在上托管时效果很好Heroku)。在每个模块的顶部,我有:

import logging
logger = logging.getLogger(__name__)

在我的task.py中,我有:

from celery.utils.log import get_task_logger
logger = get_task_logger(__name__)

这对于记录来自任务的调用非常有效,并且我得到如下输出:

2019-11-13T18:05:38+00:00 app[worker.1]: [2019-11-13 18:05:38,527: INFO/PoolWorker-2] Syc feed is starting

但是,如果那个任务然后在另一个模块中调用一个方法,例如一个queryset方法,我将得到重复的日志条目,例如

2019-11-13T18:00:51+00:00 app[worker.1]: [INFO] utils.generic_importers.ftp_processor process(): File xxx.csv already imported. Not downloaded
2019-11-13T18:00:51+00:00 app[worker.1]: [2019-11-13 18:00:51,736: INFO/PoolWorker-6] File xxx.csv already imported. Not downloaded

我想我可以用

CELERY_HIJACK_ROOT_LOGGER = False

只是使用Django日志记录,但是当我尝试使用它时却无法正常工作,即使我确实可以使用它,我也会失去"PoolWorker-6"我想要的东西。(顺便说一句,我无法弄清楚如何从Celery中获取要显示在日志条目中的任务名称,因为文档似乎表明应该如此)。

我怀疑这里缺少一些简单的东西。


阅读 1377

收藏
2020-04-02

共1个答案

一尘不染

当您的记录器在“另一个模块”的开头初始化时,它会链接到另一个记录器。哪个处理您的消息。它可以是root logger,或者通常我在Django项目中看到-名称为logger ''

最好的方法是覆盖您的日志记录配置:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': True,
    'formatters': {
        'simple': {
            'format': '%(levelname)s %(message)s',
             'datefmt': '%y %b %d, %H:%M:%S',
            },
        },
    'handlers': {
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',
            'formatter': 'simple'
        },
        'celery': {
            'level': 'DEBUG',
            'class': 'logging.handlers.RotatingFileHandler',
            'filename': 'celery.log',
            'formatter': 'simple',
            'maxBytes': 1024 * 1024 * 100,  # 100 mb
        },
    },
    'loggers': {
        'celery': {
            'handlers': ['celery', 'console'],
            'level': 'DEBUG',
        },
    }
}

from logging.config import dictConfig
dictConfig(LOGGING)

在这种情况下,我想它应该按照您的假设工作。

PS dictConfig已在Python2.7 +中添加。

2020-04-02