一尘不染

如何快速为ElasticSearch重新编制索引?

elasticsearch

我有一个大约2亿个文档的ElasticSearch索引,总索引大小为90Gb。

我更改了映射,所以我希望ElasticSearch重新索引所有文档。

我编写了一个脚本,该脚本创建一个新索引(具有新映射),然后遍历旧索引中的所有文档,然后将其放入新索引中。

它似乎可以工作,但是问题是它的运行速度非常慢。它从两天前以300个文档/分钟开始,现在的速度是150个文档/分钟。

该脚本在elasticsearch计算机所在的同一网络中的计算机上运行。

以这种速度,重新索引将需要一个月才能完成。

有人知道一些更快的技术来为elasticsearch索引重新编制索引吗?


阅读 240

收藏
2020-06-22

共1个答案

一尘不染

在Google网上论坛中回答:

选项A: 使用批量索引操作。

选项B:
使用在ES机器内部运行的重新索引插件:https
//github.com/karussell/elasticsearch-
reindex
2020-06-22