在Flink SQL中， 元数据的管理分为三层: catalog-> database-> table， 我们知道Flink SQL是依托calcite框架来进行SQL执行树生产，校验，优化等等， 所以本文讲介绍FlinkSQL是如何来结合Calcite来进行元数据管理的. calcite开放的接口 public interface Schem...
不多说，直接上干货！ 以下是Apache Beam的官网 ： https://beam.apache.org/ Apache Beam的前世今生 Apache Beam前身是Google Dataflow SDK，DataFlow是谷歌的提供大数据计算平台。在DataFlow之前，谷歌的批处理和流处理(流计算，实时处理)使用了不同系统，流...
本文翻译自官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html TableSource 提供访问存储在外部系统（数据库、key-value 存款，消息队列）或文件中的数据的权限。TableSource 在 TableEnviron...
数据来源：系统中可以采集到的数据，如用户数据、业务数据等，也包含系统运行时产生的日志数据等。 数据采集：不同数据源生成数据类型格式存在差异，在数据采集前可能增加数据总线(如京东JBus)对业务进行解耦，Sqoop和Flume是常用的数据采集工具。 Sqoop：用于和关系型数据库进行交互，使用SQL语句在Hadoop和关系型数据库间传送数据，Sqoop...
1. 写在前面 在利用flink实时计算的时候，往往会从kafka读取数据写入数据到kafka，但会发现当kafka多个Partitioner时，特别在P量级数据为了kafka的性能kafka的节点有十几个时，一个topic的Partitioner可能有几十个甚至更多，发现flink写入kafka的时候没有全部写Partitioner，而是写了部分的Par...
0. 说明 本文基于Flink 1.12； 本文是在阅读源码过程结合自己理解所写，不一定正确，欢迎大伙留言指出； 1. 集群部署 1.1. 部署方式 Flink集群部署可以简要的分为以下两种方式： 直接部署在服务器上(物理机、Kubernetes、docker等)； 结合其他资源调度框架，如on Yarn、Mesos； 1.2. 部署在服务器上 常...
简介： 目前有赞实时计算平台对于 Flink 任务资源优化探索已经走出第一步。 随着 Flink K8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink K8s 化提升了实时集群在大促时弹性扩缩容能力，更好的降低大促期间机器扩缩容的成本。同时，由于 K8s 在公司内部有专门的团队进行维护， Flink K8s...
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ，HADOOP_CONF_PATH其中一个用来确保Flink能够访问HDFS和Yarn的RM。 主要启动流程 1....
简单介绍 flink内部实现了一套metric数据收集库。 同时flink自身系统有一些固定的metric数据， 包括系统的一些指标，CPU,内存, IO 或者各个task运行的一些指标。具体包含那些指标可以查看官方文档: flink-metric 同时我们也可以利用系统的metric库在自己的代码中进行打点收集metrics数据。此外, flink提供了...
背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once例子，但是官网却有类似的例子来解决端到端的仅一...