如何解决无法触发提交python脚本以触发在docker swarm中运行的多节点集群
我有一个火花多节点集群,该集群由在docker群中运行的主节点和工作节点组成。主节点和工作节点在两个不同机器上的docker容器中运行。 在同一群(在spark主节点上运行)中存在第三个docker容器,该容器尝试使用以下命令向spark集群提交“ hello world” python脚本: spark-submit --master spark:// master ip,如spark ui :7077 --deploy-mode集群test.py
火花提交引发以下异常:
线程“主”中的异常org.apache.spark.SparkException:独立群集上的python应用程序当前不支持群集部署模式。 在org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:936) 在org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:273) 在org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:871) 在org.apache.spark.deploy.SparkSubmit.doRunMain $ 1(SparkSubmit.scala:180) 在org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:203) 在org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:90) 在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit(SparkSubmit.scala:1007) 在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:1016) 在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
所有容器(主容器,工作容器,提交容器)都在同一桥上,并且由docker swarm创建的网络过多。我不明白为什么spark-submit不能识别主URL。 我真的很感谢在此方面的一些帮助,因为我才刚刚开始学习docker swarm和Apache spark。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。