如何解决为什么 dataproc 无法识别参数:spark.submit.deployMode=cluster?
我通过这种方式向 dataproc 提交了一个 Spark 作业:
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1,spark.submit.deployMode=cluster --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "- z" "some_other_arg"
但我收到此错误:
错误:(gcloud.dataproc.jobs.submit.spark) 无法识别的参数: spark.submit.deployMode=集群
知道为什么吗?预先感谢您的帮助。
这种方式工作正常(没有集群模式):
gcloud dataproc 作业提交 spark --cluster=$CLUSTER --region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11: 0.19.1 --class path.to.my.main.class --jars=path.to.jars -- "-p" "some_arg" "-z" "some_other_arg"
解决方法
您似乎在第一个属性和第二个属性之间有一个空格。要么删除它,要么用引号将它们都括起来。
另一种选择是将其替换为
--packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1 --properties spark.submit.deployMode=cluster
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。