如何解决ElasticSearch批量索引Azure VM
我们在Azure中使用VM运行ElasticSearch对数据进行一些批量索引。到目前为止,我们测试过的最大输入JSON大小约为70 MB,每次输入JSON失败时,节点错误134都会在本地转换为内存不足错误。我们尝试将堆大小增加到5 GB,但无济于事。关于我们如何进行的任何建议?
const { body: bulkResponse } = await client.bulk({
refresh: true,body,});
这是每次失败的段。有什么方法可以分解这个较大的JSON,并以迭代方式批量索引那些较小的文件,并在最后整理结果?
更新:
找到了批量助手来分解较大的文档,但是它结束了调用本身,而不是返回索引以进行进一步处理。
const result = await client.helpers.bulk({
datasource: body,onDocument (doc) {
return {
index: { _index: 'my-index' },}
},onDrop (doc) {
console.log(doc)
},retries: 3,refreshOnCompletion: true
})
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。