一尘不染

了解Elasticsearch中的细分

elasticsearch

我当时假设Elasticsearch中的每个碎片都是一个索引。但是我在某处读到,每个段都是一个Lucene索引。

细分到底是什么?它如何影响搜索效果?我的索引每天使用默认的Elasticsearch设置达到450GB左右(我每天创建一个新索引)。

当我执行时curl -XPOST "http://localhost:9200/logstash-2013.03.0$i_optimize?max_num_segments=1",我得到
num_committed_segments=11num_search_segments=11

上面的值不应该是1吗?也许是因为index.merge.policy.segments_per_tier价值?无论如何,这层是什么?


阅读 253

收藏
2020-06-22

共1个答案

一尘不染

在Elasticsearch中,“索引”一词被滥用了-适用于太多事物。

解释:

指数

Elasticsearch中的“索引”有点像关系数据库中的数据库。在此存储/索引数据。但是实际上,这就是您的应用程序所看到的。在内部,索引是指向一个或多个分片的逻辑命名空间。

同样,“索引”是指将数据“放入” Elasticsearch。您的数据既被存储(用于检索),又被“索引”用于搜索。

倒排索引

“反向索引”是Lucene用于使数据可搜索的数据结构。它处理数据,提取唯一的术语或标记,然后记录哪些文档包含这些标记。有关更多信息,请参见http://en.wikipedia.org/wiki/Inverted_index

碎片

“碎片”是Lucene的一个实例。它本身就是一个功能齐全的搜索引擎。“索引”可以由单个碎片组成,但通常由多个碎片组成,以允许索引增长并在多台计算机上拆分。

“主要碎片”是文档的主要存放地。“副本分片”是主分片的副本,它提供(1)万一主模块死了,并且(2)提高了读取吞吐量

分割

每个分片包含多个“段”,其中一个段是一个反向索引。在分片中进行搜索将依次搜索每个片段,然后将其结果合并为该分片的最终结果。

在为文档建立索引时,Elasticsearch将它们收集在内存中(为了安全起见,并存储在事务日志中),然后每隔一秒钟左右,将新的小段写入磁盘,然后“刷新”搜索。

这使得新段中的数据对于搜索可见(即它们是“可搜索的”),但是该段尚未同步到磁盘,因此仍然存在数据丢失的风险。

Elasticsearch经常会“刷新”(flush),这意味着对段进行同步(现在它们已“提交”)并清除事务日志,因为我们知道新数据已写入磁盘,因此不再需要。

细分越多,每次搜索花费的时间就越长。因此,Elasticsearch将通过后台合并过程将多个类似大小(“层”)的分段合并为一个更大的分段。写入新的较大段后,将删除旧段。如果有太多相同大小的片段,则会在较大的片段上重复此过程。

段是不可变的。更新文档时,它实际上只是将旧文档标记为已删除,并为新文档建立索引。合并过程还会删除这些旧的已删除文档。

2020-06-22