我有一个基于python / Flask构建的webapp,它有一个连续运行的相应后台作业,会定期轮询每个注册用户的数据。
我希望此后台作业在系统启动时启动并一直运行直到关闭为止。我没有设置/etc/rc.d脚本,而是让flask应用程序在启动时生成了一个新进程(使用多处理模块)。
因此,使用此设置,我只需要部署Flask应用程序,这也将使后台工作程序也运行。
这有什么缺点?这是一个完全脆弱的技术,或者以某种适当的方式来设置具有相应后台任务的Webapp的好方法吗?
这种方法的缺点是,有很多方法可能会失败,尤其是在停止和重新启动Flask应用程序之后。
script + crontab
你只需要编写一个脚本即可执行所需的任何任务,并cron会每隔几分钟为你运行一次。优点:cron将为你定期运行它,并在系统启动时启动。缺点:如果任务花费太长时间,则可能同时运行多个脚本实例。你可以在此处找到一些解决此问题的方法。
cron
supervisord
supervisord是处理不同守护程序的一种巧妙方法。你可以将其设置为运行你的应用程序,后台脚本或同时运行两者,并使它们从服务器启动。唯一的缺点是你必须安装supervisord并确保服务器启动时其守护程序正在运行。
uwsgi
uwsgi是部署Flask应用程序的非常常用的方法。它具有很少的功能可用于管理后台工作人员。
Celery
Celery 是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。我认为这是为Flask应用程序或任何其他基于python的应用程序调度后台任务的最佳解决方案。但是使用它会带来一些额外的麻烦。你将至少介绍以下过程:-代理(rabbitmq或redis)-工作器-调度程序
你还可以supervisord管理上述所有过程,并在服务器启动时启动它们。
Conclusion
为了减少流程数量,我强烈建议你使用crontab基于解决方案的解决方案,因为它可以帮助你取得长足的发展。但是请确保你的后台脚本留下了执行跟踪或某种形式的日志。
crontab