Apache Flume数据传输

我们知道， 大数据 是一组无法使用传统计算技术处理的大型数据集。分析后，大数据可以提供有价值的结果。 Hadoop 是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。

流/日志数据

通常，大多数要分析的数据将由各种数据源（如应用程序服务器，社交网站，云服务器和企业服务器）生成。此数据将采用 日志文件 和事件的形式。

日志文件 - 通常，日志文件是列出操作系统中发生的事件/操作的文件。例如，Web服务器列出日志文件中对服务器发出的每个请求。

在收集此类日志数据时，我们可以获得有关的信息

将数据传输到HDFS系统的传统方法是使用 put 命令。让我们看看如何使用 put 命令。

处理日志数据的主要挑战是将多个服务器生成的这些日志移动到Hadoop环境。

Hadoop 文件系统Shell 提供了将数据插入Hadoop并从中读取的命令。您可以使用 put 命令将数据插入Hadoop ，如下所示。

$ Hadoop fs –put /path of the required file  /path in HDFS where to save the file

我们可以使用Hadoop 的 put 命令将数据从这些源传输到HDFS。但是，它有以下缺点 -

使用 put 命令，我们一次只能传输 一个文件 , 而数据生成器以更高的速率生成数据。由于对旧数据的分析不太准确，我们需要有一个实时传输数据的解决方案。
如果我们使用 put 命令，则需要打包数据并准备好上传。由于Web服务器不断生成数据，因此这是一项非常困难的任务。

我们需要的是一种解决方案，它可以克服 put 命令的缺点，并将 “流数据”从数据生成器传输到集中存储（特别是HDFS），延迟更少。

在HDFS中，文件作为目录条目存在，文件的长度将被视为零，直到它关闭。例如，如果源正在将数据写入HDFS并且网络在操作过程中被中断（不关闭文件），则文件中写入的数据将丢失。

因此，我们需要一个可靠，可配置且可维护的系统来将日志数据传输到HDFS。

注 - 在POSIX文件系统中，每当我们访问文件（比如执行写操作）时，其他程序仍然可以读取该文件（至少是文件的保存部分）。这是因为光盘在关闭之前存在于光盘上。

要从各种来源向HDFS发送流数据（日志文件，事件等......），我们可以使用以下工具

Scribe是一种非常流行的工具，用于聚合和流式传输日志数据。它旨在扩展到非常大量的节点，并且对网络和节点故障具有鲁棒性。

Kafka由Apache Software Foundation开发。它是一个开源消息代理。使用Kafka，我们可以处理具有高吞吐量和低延迟的源。

Apache Flume是一种工具/服务/数据提取机制，用于收集聚合并将大量流数据（例如日志数据，事件（等等））从各种Webserve传输到集中式数据存储。

它是一种高度可靠，分布式和可配置的工具，主要用于将各种源的流数据传输到HDFS。

在本教程中，我们将详细讨论如何使用Flume和一些示例。