开发配置

Flume-ng配置

本文详细介绍了分布式、可靠、高可用的日志聚合系统Flume的配置过程,包括其设计目标、配置步骤以及如何将日志数据写入Hadoop和HBase。通过配置示例,展示了如何在CentOS集群环境中实现Flume与Hadoop和HBase的集成,以及如何利用Flume的特性进行高效的数据流管理。

1)简介

Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

设计目标:

(1) 可靠性

当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Best effort(数据发送到接收方后,不会进行确认)。

(2) 可扩展性

Flume采用了三层架构,分别为agent,collector和storage,每一层均可以水平扩展。其中,所有agent和collector由master统一管理,这使得系统容易监控和维护,且master允许有多个(使用ZooKeeper进行管理和负载均衡),这就避免了单点故障问题。

(3) 可管理性

所有agent和colletor由master统一管理,这使得系统便于维护。多master情况,Flume利用ZooKeeper和gossip,保证动态配置数据的一致性。用户可以在master上查看各个数据源或者数据流执行情况,且可以对各个数据源配置和动态加载。Flume提供了web 和shell script command 两种形式对数据流进行管理。

(4) 功能可扩展性

用户可以根据需要添加自己的agent,collector或者storage。此外,Flume自带了很多组件,包括各种agent( file , syslog等),collector和storage(File,HDFS,HBase等)。

2)配置

之前配置过hadoop和hbase,所以需要先将hadoop和hbase启动,才能将文件写入hdfs和hbase。hadoop-2.2.0和hbase-0.96.0的配置分别参考《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》和《CentOS分布式环境安装HBase-0.96.0》。

本次配置环境为两台装有centos 的测试集群。主机名为master的机器负责收集日志,主机名为node的机器负责日志的写入,本次配置的写入方式有三种:写入普通目录,写入hdfs。

首先下载flume-ng的二进制压缩文件。地址:http://flume.apache.org/download.html。下载好后,解压文件。首先编辑/etc/profile文件,在其中添加如下几行:

export FLUME_HOME=/home/aaron/apache-flume-1.4.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

添加好之后记得运行$ souce /etc/profile命令使修改生效。

在master的flume文件夹的conf目录中,新建一个flume-master.conf文件,内容如下:

在node机器上也将/etc/profile文件添加上面的配置。然后,在conf中新建一个flume-node.conf文件,修改如下:

在master上面运行命令:

$ bin/flume-ng agent --conf ./conf/ -f conf/flume-maste.conf -Dflume.root.logger=DEBUG,console -n agent

在node上运行命令:

$ bin/flume-ng agent --conf ./conf/ -f conf/flume-node.conf -Dflume.root.logger=DEBUG,console -n agent

启动之后,就可以发现两者之间可以相互通信,master上面的文件就能发送到node上,修改master上的test文件,在后面追加内容时,node也可以接收到。

如果想要将内容写入hadoop,可以将node中的flume-node.conf文件做如下修改:

其中,hdfs://master:8089/hbase为hadoop的hdfs文件路径。

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿