Apache Flume环境

我们在前一章已经讨论过Flume的架构。在本章中，让我们看看如何下载和设置Apache Flume。

在继续之前，您需要在系统中安装Java环境。首先，确保在系统中安装了Java。对于本教程中的一些示例，我们使用了Hadoop HDFS（作为接收器）。因此，我们建议您与Java一起安装Hadoop。要收集更多信息，请访问以下链接：Hadoop环境安装

安装Flume

首先，从https://flume.apache.org/网站下载最新版本的Apache Flume软件。

步骤1

打开网站。单击主页左侧的 下载 链接。它将带您进入Apache Flume的下载页面。

安装Flume

第2步

在下载页面中，您可以看到Apache Flume的二进制文件和源文件的链接。点击链接apache- flume-1.6.0-bin.tar.gz

您将被重定向到镜像列表，您可以通过单击任何镜像开始下载。以同样的方式，您可以通过单击apache-flume-1.6.0-src.tar.gz下载Apache Flume的源代码。

第3步

在安装了 Hadoop ， HBase 和其他软件的安装目录的同一目录中创建一个名为Flume的目录（如果已经安装了任何软件），如下所示。

$ mkdir Flume

步骤4

解压缩下载的tar文件，如下所示。

$ cd Downloads/
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

第5步

将apache -flume-1.6.0-bin.tar 文件的内容移动到之前创建的 Flume 目录，如下所示。（假设我们在名为Hadoop的本地用户中创建了Flume目录。）

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置Flume

要配置Flume，我们必须修改三个文件，即 flume-env.sh，flumeconf.properties， 和 bash.rc 。

设置路径/类路径

在 .bashrc 文件中，设置Flume的主文件夹，路径和类路径，如下所示。

设置路径

conf文件夹

如果您打开Apache Flume 的 conf 文件夹，您将拥有以下四个文件 -

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template, and
  • log4j.properties.

conf文件夹

现在重命名

  • flume -conf.properties.template 文件为 flume-conf.properties 和

  • flume-env.sh.template as flume-env.sh

flume-env.sh

打开 flume-env.sh 文件和设置 JAVA_HOME 到Java是安装在系统中的文件夹。

flume-env.sh

验证安装

通过浏览 bin 文件夹并键入以下命令来验证Apache Flume的安装。

$ ./flume-ng

如果您已成功安装Flume，您将获得Flume的帮助提示，如下所示。

验证安装