一尘不染

将数据从Dynamodb发送到Amazon Elasticsearch的最佳方法

elasticsearch

我想知道哪种方法是将数据从dynamoDB发送到elasticsearch的最佳方法。

  1. AWS开发工具包js。https://github.com/Stockflare/lambda-dynamo-to-elasticsearch/blob/master/index.js

  2. DynamoDB Logstash插件:https : //github.com/awslabs/logstash-input-dynamodb


阅读 245

收藏
2020-06-22

共1个答案

一尘不染

关注此AWS博客。他们详细描述了如何以及应该如何做。

https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-
amazon-elasticsearch-service-using-aws-
lambda/


编辑

我假设您使用AWS Elasticsearch托管服务。

  1. 您应该使用Dynamodb流以侦听更改(尤其是在其中,有新事件添加到dynamodb中的事件)。
  2. 创建新的Kinesis Firehose流,该流设置为将所有记录输出到您的elasticsearch实例。
  3. 创建一个新的lambda,该lambda由DynamoDB流中的新项目的事件触发。
  4. lambda将获得唯一的DynamoDB记录ID,因此您可以获取它,获取记录有效负载并将其摄取到Firehose流终结点。
  5. 根据您的DynamoDB记录大小,您可以启用该选项以将记录的有效负载包括在流项目中,因此您无需从表中获取记录并使用设置的容量。
2020-06-22