Flume技术原理,flume的架构

Flume技术原理

摘要：

Flume支持根据用户自定义收集数据的能力。驱动源：外部主动向Flume发送数据，并驱动Flume接收数据。该场景主要用于收集FusionInsight集群外部节点上的日志，并最终通过多个Flume节点将其收集到集群中。在同一个Flume内传输时，不需要加密。它用于流程内的数据交换。

转：https://www.e-learn.cn/content/qita/690288

Flume是开源日志系统。是一个分布式、可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，FLume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。

Flume是流式日志采集工具，FLume提供对数据进行简单处理并且写到各种数据接收方（可定制）的能力，Flume提供从本地文件（spooling directory source）、实时日志（taildir、exec）、REST消息、Thift、Avro、Syslog、Kafka等数据源上收集数据的能力。

提供从固定目录下采集日志信息到目的地（HDFS，HBase，Kafka）能力。
提供实时采集日志信息（taidir）到目的地的能力。
FLume支持级联（多个Flume对接起来），合并数据的能力。
Flume支持按照用户定制采集数据的能力。

Flume技术原理第1张

图：Flume在FusionInsight中的位置

Flume是收集、聚合事件流数据的分布式框架。

图：Flume基础架构图

Flume基础架构：Flume可以单节点直接采集数据，主要应用于集群内数据。

图：Flume多agent架构

Flume多agent架构：Flume可以将多个节点连接起来，将最初的数据源经过收集，存储到最终的存储系统中。主要应用于集群外的数据导入到集群内。

Flume技术原理第4张

图：Flume架构图

各组件具体介绍如下：

events：Flume当中对数据的一种封装。是一个数据单元。flume传输数据最基本的单元。
Interceptor：拦截器，主要作用是将采集到的数据根据用户的配置进行过滤和修饰。
Channel Selector：通道选择器，主要作用是根据用户配置将数据放到不同的Channel当中。
Channel：主要作用是临时的缓存数据。
Sink Runner：sink的运行器，主要是通过它来驱动Sink Processor，Sink Processor驱动Sink来从Channel当中获取数据。
Sink Processor：主要策略有，负载均衡，故障转移以及直通。
Sink：主要作用是从Channel当中取出数据，并将数据放到不同的目的地。

Source负责接收events或通过特殊机制产生events，并将events批量放到一个或多个Channels。有驱动和轮询2中类型的Source。

驱动型Source：是外部主动发送数据给Flume，驱动Flume接收数据。
轮询source：是FLume周期性主动去获取数据。

Source必须至少和一个channel关联。

Source的类型如下：

Channel位于Source和Sink之间，Channel的作用类似队列，用于临时缓存进来的events，当Sink成功地将events发送到下一跳的channel或最终目的，events从Channel移除。

不同的Channel提供的持久化水平也是不一样的：

Memory Channel：不会持久化。消息存放在内存中，提供高吞吐，但提供可靠性；可能丢失数据。
File Channel：对数据持久化；基于WAL（预写式日志Write-Ahaad Log）实现。但是配置较为麻烦，需要配置数据目录和checkpoint目录；不同的file channel均需要配置一个checkpoint目录。
JDBC Channel：基于嵌入式Database实现。内置derby数据库，对event进行了持久化，提供高可靠性；可以取代同样持久特性的file channel。

Channels支持事物，提供较弱的顺序保证，可以连接任何数量的Source和Sink。

Sink负责将events传输到下一跳或最终目的，成功完成后将events从channel移除。

必须作用于一个确切的channel。

Sink类型：