Flink1.13.2版本 Standalone 模式部署

摘要:
Flink的部署有3种模式,分别是local模式、Standalone模式、yarn模式。其中local就是单机模式,一般来说用于本地开发测试;Standalone跟yarn模式都可以支撑集群部署、实现HA,但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环境,使用flinkonyarn的模式更多一些。我们的Standalone模式部署目标:共有3台机器,其中1台配置为Master+Worker,2台配置为Worker。本次安装的是目前的最新版本,下载地址:ApacheFlink:下载。

Flink的部署有3种模式,分别是local模式、Standalone模式、yarn模式。其中local就是单机模式,一般来说用于本地开发测试;Standalone跟yarn模式都可以支撑集群部署、实现HA,但是两者在任务分配机制、内存管理等内容上有比较大的差异。一般在处理计算数据量级非常大的生产环境,使用flink on yarn的模式更多一些。

我们的Standalone模式部署目标:共有3台机器,其中1台配置为Master+Worker,2台配置为Worker。

本次安装的是目前的最新版本(1.13.2,2021年9月),下载地址:Apache Flink: 下载。目标机器为centos7,均已安装好了java1.8环境。

——172.18.88.44(master+worker);

——172.18.88.45(worker);

——172.18.88.46(worker);

1、将下载的flink安装包copy到44上,解压缩:

tar -xzf flink-1.13.2-bin-scala_2.11.tgz(题外话:此时如果作为local模式的话,直接执行 ./bin/start-cluster.sh 即可启动flink服务了)

2、进入解压缩出来的flink/conf目录,修改flink-conf.yaml中的jobmanager地址为44(默认为localhost):

jobmanager.rpc.address: 172.18.88.44(内存设置也在这个配置文件里,这里暂时不改,以后有需要再修改,有兴趣的可以看这篇帖子有详细介绍:Flink调优之前,必须先看懂的TaskManager内存模型 - 知乎 (zhihu.com)

Flink1.13.2版本 Standalone 模式部署第1张

3、修改master文件,将master指定为44(默认为localhost:8081)

Flink1.13.2版本 Standalone 模式部署第2张

4、修改workers文件,将3个worker的IP配置上:

Flink1.13.2版本 Standalone 模式部署第3张

5、在45、46两台机器上同样解压缩安装包,并将44上的这3个配置文件copy到45、46上。注意:45、46的flink位置要与44上的位置保持一致。

6、正常情况下,在44上的flink目录下执行./bin/start-cluster.sh,即可启动集群了。

Flink1.13.2版本 Standalone 模式部署第4张

7、由于这3台机器没有配置ssh免登,会出现启动服务时,需要输入45、46两台机器密码的情况,不方便。为此,请配置ssh免登,参考centos7下配置免密码登录 - zouminglan - 博客园 (cnblogs.com)

8、可通过master所在机器地址查看运行状态:172.18.88.44:8081

Flink1.13.2版本 Standalone 模式部署第5张

9、HA配置略。

免责声明:文章转载自《Flink1.13.2版本 Standalone 模式部署》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇AttributeError: 'WebDriver' object has no attribute 'switchTo'UVA 11987 Almost Union-Find (并查集+删边)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Flink的sink实战之一:初探

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等; 关于sink 下图来自Flink官方,红框中就是sink,可见实时数据从Source处开始,在Transformation阶段完成业务逻辑后在sink结...

Flink on Yarn模式启动流程分析

此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能够访问HDFS和Yarn的RM。 主要启动流程 1....

Flink RichSourceFunction应用,读关系型数据(mysql)数据写入关系型数据库(mysql)

1. 写在前面 Flink被誉为第四代大数据计算引擎组件,即可以用作基于离线分布式计算,也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心:Source,Transformation,Sink。其中Source即为Flink计算的数据源,Transformation即为进行分布式流式计算的算子,也是计算的核心,Sink即为计算后的...

FlinkSQL源码阅读-schema管理

在Flink SQL中, 元数据的管理分为三层: catalog-> database-> table, 我们知道Flink SQL是依托calcite框架来进行SQL执行树生产,校验,优化等等, 所以本文讲介绍FlinkSQL是如何来结合Calcite来进行元数据管理的. calcite开放的接口 public interface Schem...

FLINK基础(104): DS算子与窗口(15)多流转换算子(6) CONNECT, COMAP和COFLATMAP(2)CoProcessFunction

CoProcessFunction   对于两条输入流,DataStream API提供了CoProcessFunction这样的low-level操作。CoProcessFunction提供了操作每一个输入流的方法: processElement1()和processElement2()。   类似于ProcessFunction,这两种方法都通过Con...

FLINK基础(107): DS算子与窗口(18)窗口 (3) window functions(二)ProcessWindowFunction

ProcessWindowFunction   一些业务场景,我们需要收集窗口内所有的数据进行计算,例如计算窗口数据的中位数,或者计算窗口数据中出现频率最高的值。这样的需求,使用ReduceFunction和AggregateFunction就无法实现了。这个时候就需要ProcessWindowFunction了。 先来看接口定义 public abstr...