如何解决如何覆盖Oozie配置值
我使用Cloudera,我有一个Oozie工作流程,可通过Spark触发python的脚本。
在Oozie作业的“选项列表”字段中,我向火花提交添加了以下配置:
--name "My app" --conf 'spark.yarn.tags=my-yarn-tag'
Oozie运行此作业时,Oozie的默认配置将覆盖我的值。这是我得到的输出:
Oozie Spark action configuration
=================================================================
--master
yarn
--deploy-mode
client
--name
Oozie Hello World!
--class
python.py
--conf
spark.oozie.action.id=xxx
--conf
spark.oozie.child.mapreduce.job.tags=oozie-475557d4ba0074063442b4da13eeaa64
--conf
spark.oozie.action.rootlogger.log.level=INFO
--name
My app
--conf
'spark.yarn.tags=my-yarn-tag'
--conf
spark.yarn.localizeConfig=false
--conf
spark.executor.extraClassPath=$PWD/*
--conf
spark.driver.extraClassPath=$PWD/*
--conf
spark.yarn.tags=oozie-475557d4ba0074063442b4da13eeaa64 <-- this one overridden my value
如您所见。 --name "My app"
已覆盖Oozie的名称,但是我的--conf 'spark.yarn.tags=my-yarn-tag'
已被Oozie的默认标签覆盖。
我的问题是:
是否可以在Oozie中覆盖/更改spark配置值的顺序?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。