一尘不染

Background Worker with Flask

flask

我有一个基于python / Flask构建的webapp,它有一个连续运行的相应后台作业,会定期轮询每个注册用户的数据。

我希望此后台作业在系统启动时启动并一直运行直到关闭为止。我没有设置/etc/rc.d脚本,而是让flask应用程序在启动时生成了一个新进程(使用多处理模块)。

因此,使用此设置,我只需要部署Flask应用程序,这也将使后台工作程序也运行。

这有什么缺点?这是一个完全脆弱的技术,或者以某种适当的方式来设置具有相应后台任务的Webapp的好方法吗?


阅读 375

收藏
2020-04-05

共1个答案

一尘不染

这种方法的缺点是,有很多方法可能会失败,尤其是在停止和重新启动Flask应用程序之后。

  • 你将不得不进行正常关机,以使你的工人有机会完成其当前任务。
  • 有时,你的工作人员不会准时停止,并且在重新启动烧瓶应用程序时启动另一个工人时可能会流连忘返。
    以下是我建议的一些方法,具体取决于你的约束条件:

script + crontab

你只需要编写一个脚本即可执行所需的任何任务,并cron会每隔几分钟为你运行一次。优点:cron将为你定期运行它,并在系统启动时启动。缺点:如果任务花费太长时间,则可能同时运行多个脚本实例。你可以在此处找到一些解决此问题的方法。

supervisord

supervisord是处理不同守护程序的一种巧妙方法。你可以将其设置为运行你的应用程序,后台脚本或同时运行两者,并使它们从服务器启动。唯一的缺点是你必须安装supervisord并确保服务器启动时其守护程序正在运行。

uwsgi

uwsgi是部署Flask应用程序的非常常用的方法。它具有很少的功能可用于管理后台工作人员。

Celery

Celery 是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。我认为这是为Flask应用程序或任何其他基于python的应用程序调度后台任务的最佳解决方案。但是使用它会带来一些额外的麻烦。你将至少介绍以下过程:-代理(rabbitmq或redis)-工作器-调度程序

你还可以supervisord管理上述所有过程,并在服务器启动时启动它们。

Conclusion

为了减少流程数量,我强烈建议你使用crontab基于解决方案的解决方案,因为它可以帮助你取得长足的发展。但是请确保你的后台脚本留下了执行跟踪或某种形式的日志。

2020-04-05