如何解决Elasticsearch并行索引多个文件
我正在尝试在ES中索引多个文件。由于文件很多,并且每个文件都有自己的索引,因此顺序索引在生产使用中似乎很慢。我想要的是并行索引多个文件。假设我有100个文件,并且想一次索引10个文件并以10个批次完成索引。我期望10个文件建立索引和单个文件建立索引所花费的时间是相同的,因为它们是并行执行的,并且资源也足够。但是,在ES端,索引是顺序执行的,索引10个文件所需的时间几乎是单个文件所需时间的10倍。
尽管从此question发送并行请求以进行索引,但似乎ES索引顺序运行。是否可以并行索引数据以减少索引时间,或者我在这里丢失了什么?感谢您的帮助
注意:我正在单节点设置中对此进行测试。这可以成为问题吗?
解决方法
由于您没有提供代码和性能测试编号,因此很难猜测出哪里出了错,我猜是您在说并行请求时同时发送了10个不同的索引请求,这是不正确的方法,您应该改用Bulk API,这是设置的正确选择。
如果您已经在使用Bulk API,请提供进一步调试问题所需的所有相关信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。