如何解决哪个框架支持带有 docker 的 MapReduce?
我需要在 map-reduce 模式下运行一些 docker:
例如:
-
我有一个值列表,我想将其拆分为多个泊坞窗:
列表 [[100,120,130],[155,156],[180,191,197,199]]
将被拆分为 3 个不同的 docker,每个 docker 将获得不同的列表值
- 第一个 docker 将在 [100,130] 上运行
- 第二个 docker 将在 [155,156] 上运行
- 第三个 docker 将在 [180,199] 上运行
3 个 docker 的结果将用作新 docker 的输入(reduce 模式)。
- 我阅读了这篇论文:
https://medium.com/better-programming/running-a-mapreduce-word-count-application-in-docker-using-python-sdk-ed2f1e27d424
这表明类似的问题。 作者为 map-reduce 编写了代码(python
使用 docker
包)并实现了。
是否有任何框架可以执行此 dockers map-reduce ? 或
我需要实施它吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。