代码之家 › 专栏 › 技术社区 › martin-g

Elasticsearch:仅在值更改时获取文档

elasticsearch

martin-g · 技术社区 · 6 年前

from_1,to_1,timestamp_1
from_1,to_1,timestamp_2
from_1,to_2,timestamp_3
from_2,to_3,timestamp_4
from_1,to_2,timestamp_5
from_2,to_3,timestamp_6
from_1,to_1,timestamp_7
from_2,to_4,timestamp_8

我需要一个查询,只有当它的 from to 值不同于以前看到的具有相同 从 价值观。

文档 timestamp_1 from_1 to_1 结合
文档 timestamp_2 必须跳过,因为 从 + 从 来自\u 1
timestamp_3 应该在结果中,因为字段( to_2 )与上次看到的值不同的是同一个 ( 至\u 1 在文档中 时间戳1
文档 timestamp_4 应该在结果中
文档 timestamp_5 不能出现在结果中,因为它的from+to组合与最后看到的with相同 (文档) 时间戳3 )
timestamp_6 from_2 时间戳4 )
文档 timestamp_7 应该在结果中,因为它具有从+到最后一次使用的不同组合 来自\u 1 时间戳3 )
文档 timestamp_8

我需要从索引中获取所有这些“半唯一”文档,因此如果可以使用 scroll 请求或 after_key 如果使用聚合。

1 回复 | 直到 6 年前

Benjamin Trent 6 年前

我能想到的最接近的东西是以下内容(如果它不适用于您的数据,请告诉我)。

{
  "size": 0,
  "aggs": {
    "from_and_to": {
      "composite" : {
        "size": 5,
        "sources": [
          {
            "from_to_collected":{
              "terms": {
                "script": {
                  "lang": "painless",
                  "source": "doc['from'].value + '_' + doc['to'].value"
                }
              }
            }
          }]
      },
      "aggs": {
        "top_from_and_to_hits": {
          "top_hits": {
            "size": 1,
            "sort": [{"timestamp":{"order":"asc"}}],
            "_source": {"includes": ["_id"]}
          }
        }
      }
    }
  }
}

请记住 terms aggregations is probabilistic .

from_to_collected 钥匙。

推荐文章

Hotshot399 · 如何在弹性搜索中对聚合结果进行过滤?

2 年前

vivek · opensearch索引模式、别名和fluentd索引名称问题

2 年前

AlexZeDim · 雪花生成的ID是否可以比未签名的长?(2^64-1)

2 年前

nolwww · 未知mimetype,无法反序列化:Elasticsearch出现文本/html错误

2 年前

Nandakumar M · 弹性搜索更新和刷新API

2 年前

Mariannah47 · 日期直方图弹性搜索中的反向嵌套聚合

2 年前

Abhishek Sinha · 如何知道elasticsearch集群中的节点总数?

2 年前

Tugrul Gokce · 如何在ElasticSearch(Apache Nifi控制器服务)上访问密钥库密码信任库密码

2 年前

user3668129 · 如何构建一个考虑词与词之间距离的Elasticsearch查询?

2 年前

Frozendawn · 节点。js elasticsearch证书链中的自签名证书

2 年前