代码之家 › 专栏 › 技术社区 › vvra

KiBaa-log分析-查找唯一的交易编号

elasticsearch-painless kibana-5 kibana elasticsearch

vvra · 技术社区 · 5 年前

我有一个efk设置来集中存储和查询所有应用程序服务的日志。有些服务处理消息中的事件。

我想查询每个服务有多少个唯一事件(事务号:UUID)失败,考虑到消息代理被配置为在任何运行时异常重发消息5次时会出现重复错误消息。我用它的名字过滤了服务,但是 Painless 脚本由于此错误,我无法从消息中子串事务编号, Fielddata is disabled on text fields … Alternatively use a keyword field . 建议为日志消息字段设置关键字吗?如何在Kibana查询这些东西?

0 回复 | 直到 5 年前

SylarBenes 5 年前

FieldDATS=真,需要在文本字段上启用排序、聚合和脚本。缺点是它使用了大量堆空间,并且会导致昂贵的操作。

查询每个服务的唯一事件听起来像是对我的聚合。您想知道每个服务的“文档”(行/项)数量,每个事务uuid,您从错误消息中取其子字符串,对吗?我建议您为事务uuid创建一个关键字类型的新字段。这样你就可以在索引时间做子串,这会给你带来更好的性能。然后,您可以在新创建的事务uuID字段上用子聚合对服务进行聚合,这将给您提供计数。

当然,这只有在你经常使用这个领域时才有意义,但我想你会的。

推荐文章

Hotshot399 · 如何在弹性搜索中对聚合结果进行过滤?

2 年前

vivek · opensearch索引模式、别名和fluentd索引名称问题

2 年前

AlexZeDim · 雪花生成的ID是否可以比未签名的长?(2^64-1)

2 年前

nolwww · 未知mimetype,无法反序列化:Elasticsearch出现文本/html错误

2 年前

Nandakumar M · 弹性搜索更新和刷新API

2 年前

Mariannah47 · 日期直方图弹性搜索中的反向嵌套聚合

2 年前

Abhishek Sinha · 如何知道elasticsearch集群中的节点总数?

2 年前

Tugrul Gokce · 如何在ElasticSearch(Apache Nifi控制器服务)上访问密钥库密码信任库密码

2 年前

user3668129 · 如何构建一个考虑词与词之间距离的Elasticsearch查询?

2 年前

Frozendawn · 节点。js elasticsearch证书链中的自签名证书

2 年前