如何解决覆盖 mapreduce 类型安全配置
我有一个用 Java 编写的 mapreduce 作业。它使用类型安全配置进行配置。我的配置读取器类在运行时可以覆盖其变量。例如,如果我有一个名为 foo=bar
的配置,那么当我在运行时导出环境变量 X_foo=bar_prime
时,它会覆盖相应的配置。
所以它运行良好,但是当我在 Resourcemanager 上导出这些变量并提交我的作业时,mapper 和 reducer 容器无法识别覆盖的值,实际上这是之前预期的! 对此的写入方法是什么?
注意:我使用了 export HADOOP_CLIENT_OPTS="-Dyarn.app.mapreduce.am.env='X_foo=bar_prime' $HADOOP_CLIENT_OPTS"
,但我认为它效果不佳。
有什么想法吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。