一尘不染

Elasticsearch“更像这样” API与more_like_this查询

elasticsearch

Elasticsearch具有两个相似的功能来获取“相似”的文档:

“更多喜欢此API”。它给了我类似于给定文件的文件。我不能在更复杂的表达式中使用它。

"more_like_this"在Search
API中
也有要使用查询,我可以在bool或boosting表达式中使用它,但不能给它提供文档ID。我必须提供"like_text"参数。

我有带有标签和内容的文档。有些文档将具有良好的标签,而有些则不会。我想要一个“类似文档”功能,该功能每次都可以使用,但是对具有匹配标签的文档的排名高于具有匹配文本的文档的排名。我的想法是:

{
    "boosting" : {
        "positive" : {
            "more_like_this" : {
                "fields" : ["tag"],
                "id" : "23452",
                "min_term_freq" : 1
            }
        },
        "negative" : {
            "more_like_this" : {
                "fields" : ["tag"],
                "id" : "23452",
            }
        },
        "negative_boost" : 0.2
    }
}

显然这是行不通的,因为没有"id"in "more_like_this"。有哪些选择?


阅读 652

收藏
2020-06-22

共1个答案

一尘不染

首先,简要介绍一下这种功能及其工作原理。这个想法是,您有一个特定的文档,并且您想要其他一些与此文档相似的文档。

为了实现这一点,我们需要从当前文档中提取一些内容,并使用它进行查询以获取相似的内容。我们可以从lucene存储字段(或elasticsearch
_source字段,实际上是lucene中的存储字段)中提取内容,然后以某种方式重新分析它,或使用存储在术语向量中的信息(如果在索引时启用)来获取术语列表我们可以用来查询,而不必重新分析文本。我不确定如果术语向量可用,elasticsearch是否尝试后一种方法。

这样的查询更可以让你提供一个文本,无论你来自哪里,得到它的。该文本将用于查询您选择的字段并获取相似的文档。文本将不被完全使用,但重新分析,并且最多只有max_query_terms(默认为25)将被保留,出具有至少所提供的术语的min_term_freq(最低频率项,缺省值2)之间和文档频率min_doc_freqmax_doc_freq。还有更多参数可以影响所生成的查询。

这样的API更进了一步,允许提供一个文件的ID,并再次字段列表。这些字段的内容将从该特定文档中提取,并用于对相同字段进行类似此查询的查询。这意味着生成的查询更类似于此查询,其属性文本将包含先前提取的文本,并将在相同的字段上执行。如您所见,此api的执行更像是在后台执行此查询。

假设这个查询越像样,给您带来更大的灵活性,因为您可以将其与其他查询结合使用,并且可以从任意来源获取文本。另一方面,类似此api的API暴露了通用功能,可以为您做更多工作,但有一些限制。

在您的情况下,我会将几个类似的查询组合在一起,以便您可以使用功能强大的Elasticsearch查询DSL,以不同的方式增强查询等等。缺点是您必须自己提供文本,因为您无法提供从中提取文本的文档ID。

有多种方法可以实现您想要的。我将在布尔值查询中将两个类似查询的查询合并在should子句中,并赋予它们不同的权重。我也将使用更像此字段查询的方法,因为您想一次查询一个字段。

{
    "bool" : {
        "must" : {
          {"match_all" : { }}
        },
        "should" : [
            {
              "more_like_this_field" : {
                "tags" : {
                  "like_text" : "here go the tags extracted from the current document!",
                  "boost" : 2.0
                }
              }
            },
            {
              "more_like_this_field" : {
                "content" : {
                  "like_text" : "here goes the content extracted from the current document!"
                }
              }
            }
        ],
        "minimum_number_should_match" : 1
    }
}

这样,至少一个should子句必须匹配,并且标签匹配比内容匹配更重要。

2020-06-22