1.2 Flume 组成架构

1.2.1 数据流模型

播放幻灯片

Flume Event

它由一个装载数据的字节数组(byte payload)和一系列可选的字符串属性来组成(可选头部).

Flume agent

一个 Flume agent 就是一个 JVM 进程, 他包含一些组件, 通过这些组件 Flume Event 从一个外部的数据源流入到下一个目的地(destination)

Agent 是 Flume 最小的独立运行单位.

Flume agent 注意包括 3 个组件:

1. Flume source

Flume source 消耗从类似于 web 服务器这样的外部源传来的 events.

外部数据源以一种 Flume source 能够认识的格式发送 event 给 Flume source.

Flume source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy.

2. Flume channel

当 Flume source 接受到一个 event 的时, Flume source 会把这个 event 存储在一个或多个 channel 中.

Flume channel 使用被动存储机制. 它存储的数据的写入是靠 Flume source 来完成的, 数据的读取是靠后面的组件 Flume sink 来完成的.

Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。

Flume 自带两种 Channel：

• Memory Channel

  Memory Channel是内存中的队列。

  Memory Channel在不需要关心数据丢失的情景下适用。

  如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

• File Channel。

  File Channel将所有事件写到磁盘。

  因此在程序关闭或机器宕机的情况下不会丢失数据。

还可以有其他的 channel: 比如 JDBC channel.

3. Flume sink

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者发送到另一个Flume Agent。

Sink 是完全事务性的。

在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。

1.2.2 拦截器(Interceptor)

当我们需要对数据进行过滤时，我们除了在 Source、 Channel 和 Sink 进行代码修改之外， Flume 为我们提供了拦截器，拦截器也是 chain 形式的。

拦截器的位置在 Source 和 Channel 之间，当我们为 Source 指定拦截器后，我们在拦截器中会得到 Event，根据需求我们可以对 Event 进行保留还是抛弃，抛弃的数据不会进入 Channel 中。

1.2.3 Flume 的可靠性

Flume 使用事务性的方式保证传送 Event 整个过程的可靠性。

Sink 必须在Event 被存入 Channel 后，或者，已经被传达到下一个 Agent里，又或者，已经被存入外部数据目的地之后，才能把 Event 从 Channel 中 remove 掉。

这样数据流里的 Event 无论是在一个 Agent 里还是多个 Agent 之间流转，都能保证可靠，因为以上的事务保证了 event 会被成功存储起来。

比如 Flume支持在本地保存一份文件 channel 作为备份，而 Memory Channel 将Event 存在内存 Queue 里，速度快，但丢失的话无法恢复。