一尘不染

ES到板条箱数据传输

elasticsearch

我想将数据从ES(1.0.0)迁移到板条箱(当前可用的版本0.26.0)以将其检出,我该怎么办?我该如何处理索引,ES索引适合Crate吗?

人们可能会想到以下几种流程:

  1. 平稳过渡,例如,当我使用ES + Crate节点进行混合群集时,至少要复制一个副本,然后一一杀死ES节点。
  2. 我们正在通过“ elasticsearch-cloud-aws”插件进行备份,是否可以“还原”快照,但是使用Crate节点而不是本机ES节点?

还有其他变种来传输大块数据(例如1TB)吗?

谢谢。


阅读 266

收藏
2020-06-22

共1个答案

一尘不染

自0.24.0起,Crate使用的是ES 1.0.1,因此,lucene索引是兼容的。

这意味着您描述的“平稳过渡”流程应该起作用。(但是我实际上没有尝试过)。

但是,只要集群中有非板条节点,对板条的SQL查询就不会起作用,因为常规的ES节点不知道如何处理请求。

您可能还应该了解的其他一些事情可能会引起麻烦:

Crate用0.25.0引入了显式数组类型。这意味着,如果使用例如create table test (id integer ...)id字段创建新表,则将使用前一段时间添加到lucene的新doc_values字段格式。如果要使用数组,则必须使用SQL(具有类似类型的定义array(integer))创建表。

如果您尝试查询使用elasticsearch插入的数据,则可能会得到奇怪的结果,或者如果字段包含数组但缺少架构定义中的声明,则会遇到错误。

希望这个对你有帮助。不幸的是,我无法为您提供有关elasticsearch-cloud-aws插件的答案,但也许其他人可以。

2020-06-22