1、Celery加入定时任务 Celery除了可以异步执行任务之外，还可以定时执行任务。在实例代码的基础上写个测试方法： 1 #coding:utf-8 2 from celery.task.schedules import crontab 3 from celery.decorators import periodic_task 4...
分为几个部分： 开发调优、资源调优、数据倾斜调优、shuffle调优 开发调优： 主要包括这几个方面 RDD lineage设计、算子的合理使用、特殊操作的优化等 避免创建重复的RDD，尽可能复用同一个RDD 一个RDD包含另外一个RDD，对多次使用的RDD进行持久化 内存（序列化），磁盘（序列化） 尽量避免使用shuffle类算子 shuffle过程中...