如何解决可以从充当两个不同Hadoop集群的边缘节点的服务器上工作一下吗?
在我的组织中,我们有两个Hadoop集群。我们有一个jupyterhub实例在最初设置为群集2的边缘节点的服务器上运行。为了允许jupyter用户将Spark作业提交到群集1,已创建了备用SPARK_CONF_DIR / HADOOP_CONF_DIR文件夹,并且用户选择了将作业提交到哪个群集修改这些环境变量。我一直试图让dask-yarn表现出相同的行为,但是却无法解决。从我的阅读看来,我应该只能够修改HADOOP_CONF_DIR,并且已经完成了,但是无论我对桌面脚本设置的内容如何,它总是提交给集群2。有人能成功进行这样的设置吗? >
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。