我当时假设Elasticsearch中的每个碎片都是一个索引。但是我在某处读到,每个段都是一个Lucene索引。
细分到底是什么?它如何影响搜索效果?我的索引每天使用默认的Elasticsearch设置达到450GB左右(我每天创建一个新索引)。
当我执行时curl -XPOST "http://localhost:9200/logstash-2013.03.0$i_optimize?max_num_segments=1",我得到 num_committed_segments=11和num_search_segments=11。
curl -XPOST "http://localhost:9200/logstash-2013.03.0$i_optimize?max_num_segments=1"
num_committed_segments=11
num_search_segments=11
上面的值不应该是1吗?也许是因为index.merge.policy.segments_per_tier价值?无论如何,这层是什么?
index.merge.policy.segments_per_tier
在Elasticsearch中,“索引”一词被滥用了-适用于太多事物。
解释:
Elasticsearch中的“索引”有点像关系数据库中的数据库。在此存储/索引数据。但是实际上,这就是您的应用程序所看到的。在内部,索引是指向一个或多个分片的逻辑命名空间。
同样,“索引”是指将数据“放入” Elasticsearch。您的数据既被存储(用于检索),又被“索引”用于搜索。
“反向索引”是Lucene用于使数据可搜索的数据结构。它处理数据,提取唯一的术语或标记,然后记录哪些文档包含这些标记。有关更多信息,请参见http://en.wikipedia.org/wiki/Inverted_index。
“碎片”是Lucene的一个实例。它本身就是一个功能齐全的搜索引擎。“索引”可以由单个碎片组成,但通常由多个碎片组成,以允许索引增长并在多台计算机上拆分。
“主要碎片”是文档的主要存放地。“副本分片”是主分片的副本,它提供(1)万一主模块死了,并且(2)提高了读取吞吐量
每个分片包含多个“段”,其中一个段是一个反向索引。在分片中进行搜索将依次搜索每个片段,然后将其结果合并为该分片的最终结果。
在为文档建立索引时,Elasticsearch将它们收集在内存中(为了安全起见,并存储在事务日志中),然后每隔一秒钟左右,将新的小段写入磁盘,然后“刷新”搜索。
这使得新段中的数据对于搜索可见(即它们是“可搜索的”),但是该段尚未同步到磁盘,因此仍然存在数据丢失的风险。
Elasticsearch经常会“刷新”(flush),这意味着对段进行同步(现在它们已“提交”)并清除事务日志,因为我们知道新数据已写入磁盘,因此不再需要。
细分越多,每次搜索花费的时间就越长。因此,Elasticsearch将通过后台合并过程将多个类似大小(“层”)的分段合并为一个更大的分段。写入新的较大段后,将删除旧段。如果有太多相同大小的片段,则会在较大的片段上重复此过程。
段是不可变的。更新文档时,它实际上只是将旧文档标记为已删除,并为新文档建立索引。合并过程还会删除这些旧的已删除文档。