我想将数据从ES(1.0.0)迁移到板条箱(当前可用的版本0.26.0)以将其检出,我该怎么办?我该如何处理索引,ES索引适合Crate吗?
人们可能会想到以下几种流程:
还有其他变种来传输大块数据(例如1TB)吗?
谢谢。
自0.24.0起,Crate使用的是ES 1.0.1,因此,lucene索引是兼容的。
这意味着您描述的“平稳过渡”流程应该起作用。(但是我实际上没有尝试过)。
但是,只要集群中有非板条节点,对板条的SQL查询就不会起作用,因为常规的ES节点不知道如何处理请求。
您可能还应该了解的其他一些事情可能会引起麻烦:
Crate用0.25.0引入了显式数组类型。这意味着,如果使用例如create table test (id integer ...)id字段创建新表,则将使用前一段时间添加到lucene的新doc_values字段格式。如果要使用数组,则必须使用SQL(具有类似类型的定义array(integer))创建表。
create table test (id integer ...)
array(integer)
如果您尝试查询使用elasticsearch插入的数据,则可能会得到奇怪的结果,或者如果字段包含数组但缺少架构定义中的声明,则会遇到错误。
希望这个对你有帮助。不幸的是,我无法为您提供有关elasticsearch-cloud-aws插件的答案,但也许其他人可以。