代码之家 › 专栏 › 技术社区 › zhuguowei

当更新许多文档时如何避免TOO_many_REQUESTS问题

elasticsearch

zhuguowei · 技术社区 · 3 年前

有一个大索引,最近完全更新了此索引以添加一些新字段

health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   company             KTngnM6ASD-_KdU0FFAWRA   1   0   96008284      3662063     33.6gb         33.6gb

前20个线程并发批量索引,每个线程200条记录,使用了2天,但有31712850条记录更新失败,

id: 20078928430 opType: UPDATE status: TOO_MANY_REQUESTS

然后只更新了这些失败的记录,这次使用了10个线程,但这次仍然存在同样的问题,更新了103800条记录失败,然后不得不再次更新这些记录。

那么想知道如何避免在更新多条记录的同时花费较少时间的问题吗?

0 回复 | 直到 3 年前

ilvar 3 年前

使用重索引时,您可能需要 optimize for indexing speed 并可能根据您的集群进行基准测试以找出最佳 体积大小 和并发 -具体的数字将取决于集群和映射的配置(一些功能,如n-gram,在索引时开销非常大)。此外,您可能需要监控 thread pool usage 以便及早发现问题。

推荐文章

Hotshot399 · 如何在弹性搜索中对聚合结果进行过滤?

2 年前

vivek · opensearch索引模式、别名和fluentd索引名称问题

2 年前

AlexZeDim · 雪花生成的ID是否可以比未签名的长?(2^64-1)

2 年前

nolwww · 未知mimetype,无法反序列化:Elasticsearch出现文本/html错误

2 年前

Nandakumar M · 弹性搜索更新和刷新API

2 年前

Mariannah47 · 日期直方图弹性搜索中的反向嵌套聚合

2 年前

Abhishek Sinha · 如何知道elasticsearch集群中的节点总数?

2 年前

Tugrul Gokce · 如何在ElasticSearch(Apache Nifi控制器服务)上访问密钥库密码信任库密码

2 年前

user3668129 · 如何构建一个考虑词与词之间距离的Elasticsearch查询?

2 年前

Frozendawn · 节点。js elasticsearch证书链中的自签名证书

2 年前