有什么选项可以将大数据从Oracle DB索引到elasticsearch集群? 要求将3亿条记录一次索引到多个索引中,并且每天要进行大约100万次更改的增量更新。
我已经尝试了用于Elasticsearch river / feeder的 JDBC插件,两者似乎都在内部运行或需要本地运行的elasticsearch实例。请让我知道是否有更好的选择将elasticsearch索引器作为独立作业运行(可能基于Java)。任何建议将非常有帮助。谢谢。
我们将ES用作报告数据库,并且在将新记录写入SQL时,我们将采取以下措施将其添加到ES中:
此过程非常有效,因为它可以处理新数据和旧数据。对于旧数据,只需编写一个快速脚本,将300M主键写入Rabbit,就可以完成!