我希望从Kafka消费数据并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法：使用Filebeat从Kafka消费并将其发送到ES，以及使用Kafka- Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。
我不确定要使用哪个发送流数据。尽管我认为如果我想在某个时候从Kafka中获取数据并将其放入Cassandra中，我可以为此使用Kafka- Connect模块，但是Filebeat没有这样的功能。
Kafka Connect可以处理流数据并且更加灵活。如果您只是想弹性一点，Filebeat是一个干净的日志源集成。但是，如果您要从Kafka迁移到许多不同的接收器，则可能需要使用Kafka Connect。我建议您查看连接器中枢，以查看当前可使用的一些开源连接器示例，网址为http://www.confluent.io/product/connectors/
