Flask- celery (芹菜)

摘要:
1、 什么是芹菜?

一.什么是Celery?

  中文名翻译为芹菜,是flask中处理异步定时周期任务的第三方组件

二.基本结构
  1.需要跑的任务代码app

  2.用管道broker与用于存储任务(就是个缓存)  工具一般用redis  或者用rabbitMQ(兔子)

  3.执行任务的人worker 

简单实例 首先建立三个文件分别写入一下代码

Flask- celery (芹菜)第1张Flask- celery (芹菜)第2张
from celery import Celery
import time

#创建一个Celery实例,这就是我们用户的应用app
my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")

# 为应用创建任务,func1
@my_task.task
def func1(x, y):
    time.sleep(15)
    return x + y

s1.py
s1
Flask- celery (芹菜)第3张Flask- celery (芹菜)第4张
from s1 import func1

# 将任务交给Celery的Worker执行
res = func1.delay(2,4)

#返回任务ID
print(res.id)

s2.py
s2
Flask- celery (芹菜)第5张Flask- celery (芹菜)第6张
from celery.result import AsyncResult
from s1 import my_task

# 异步获取任务返回值
async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)

# 判断异步任务是否执行成功
if async_task.successful():
    #获取异步任务的返回值
    result = async_task.get()
    print(result)
else:
    print("任务还未执行完成")

s3.py
s3

s1就是前面提到的worker

启动:Windows:这里需要注意的是celery 4.0 已经不再对Windows操作系统提供支持了,也就是在windows环境下出现问题除非自己解决,否贼官方是不会给你解决的

 celery worker -A s1 -l INFO -P eventlet

ps: eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet

执行过程:

Flask- celery (芹菜)第7张

启动完成,其实在s1.py当中,worker已经知道了自己的broker 和 backend 在哪里了
接下来就让异步任务开始执行吧,对了 s2.py 中就是使用 delay 的方式来开始执行的异步任务
执行 s2.py 得到了一个字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 这个字符串儿就是异步任务的ID
在Celery worker 的控制台中可以看到这个样子
Flask- celery (芹菜)第8张

等待15秒钟之后就可以的到这样一个字符串
Flask- celery (芹菜)第9张

然后通过s3.py修改异步任务的ID来获取任务返回的结果
Flask- celery (芹菜)第10张

这样就简单完成了一个Celery异步任务了

以下任务模板:

在实际项目中我们应用Celery是有规则的

Flask- celery (芹菜)第11张

要满足这样的条件才可以哦,目录Celery_task这个名字可以随意起,但是一定要注意在这个目录下一定要有一个celery.py这个文件

三.Celery定时任务

Flask- celery (芹菜)第12张Flask- celery (芹菜)第13张
from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行
# 现在我们使用apply_async定时执行

#首先我们要先给task一个执行任务的时间
import datetime,time
# 获取当前时间 此时间为东八区时间
ctime = time.time()
# 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 为当前时间增加 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是当前时间未来10秒之后的时间
#现在我们使用apply_async定时执行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了

my_celery
任务代码

四.Celery周期任务

Flask- celery (芹菜)第14张Flask- celery (芹菜)第15张
from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒钟执行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分钟执行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小时执行一次
        "args": (10, 10)
    }

}

#以上配置完成之后,还有一点非常重要
# 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

celery.py
周期代码

执行过程:

创建Worker的方式并没有发行变化,但是这里要注意的是,每间隔一定时间后需要生产出来任务给Worker去执行,这里需要一个生产者beat

celery beat -A Celery_task  #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动

Flask- celery (芹菜)第16张

 celery worker -A Celery_task -l INFO -P eventlet

 创建worker之后,每10秒就会由beat创建一个任务给Worker去执行

Flask- celery (芹菜)第17张

免责声明:文章转载自《Flask- celery (芹菜)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇获取电脑实时CPU使用率OSX:设置用户默认浏览器下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Flask 遇到 500 Internal Server Error 解决方法

下午去帮大哥部署毕设. Postman请求接口一直显示500 Internal Server Error,Proxy Connection Refused. 调整了代理设置,VPS的安全策略,问题依旧没有解决. 最后发现是一行代码出现了问题. app.run(debug=True,port=5000) 原本是这么写的,乍一看没什么问题. 但是它默认只能接...

flask的配置设置的几种方式

Flask的配置对象(config)是一个字典(dict)的子类(subclass),所以你可以把配置用键值对的方式存储进去。 1、一些重要的配置,可以设置在系统环境变量里,又或者放到某个服务器里,用的时候下载配置文件并读取配置 #在linux系统里设置环境变量 export MAIL_USERNAME=me@greyli.com #用的时候取环境变量...

flask接口入门实现简单的登录注册(一)

和网上的博客app不同,由于需求主要写一些小程序的借口 首先是初始化app __init__.py importos from flask importFlask def create_app(test_config=None): #create and configure the app app = Flask(__name__,...

docker 部署 flask(一)配置环境及测试

简介: flask也是要部署的。不能老在我们的pycharm里面跑测试服务器。 各种配置linux,我看就算了吧。我们用docker部署。 也就两三行命令。 一:选择基础镜像 GitHub repo: https://github.com/tiangolo/uwsgi-nginx-flask-docker Docker...

Celery 3.x 升级至 celery 4.x(转)

预准备 首先介绍下项目中 celery 相关的依赖包,目前项目中主要使用的是 celery 进行异步处理,使用 celery-redbeat 设置定时异步任务,使用 flower 进行异步任务的监控。升级前相关包的版本情况如下: celery==3.1.25 celery-redbeat==0.10.4 flower==0.9.1 升级过程 在升级之前,...

flask 框架 练习

目录 flask和django的区别? flask哪里有用到装饰器? 蓝图和django app区别? flask中的g有什么作用? flask的第三方组件? 什么是threading.local对象? flask中的LocalStack的作用? 为什么flask要用LocalStack维护成一个栈? 什么是偏函数? LocalProxy类的作用?...