如何解决在集群上部署特定的SPARK版本
在我当前的项目中,我尝试部署SPARK的2.2版本,而在群集上可以使用2.1版本。我在SPARK文档中查看了在集群上部署特定依赖项的方法,这导致我使用了以下spark-submit:
spark-submit --master yarn --class MainMethodSparkApp --conf spark.driver.extraClassPath=localPath-to-jar-with-ependencies
--conf spark.executor.extraClassPath=localPath-to-jar-with-dependencies --conf spark.jars=hdfsPath-jar-with-dependencies --queue queueName --deploy-mode cluster
--driver-memory xx --num-executors xx --executor-memory xx --executor-core xx
使用具有依赖项的jar设置驱动程序和执行程序。但是,我仍然收到No.Such.Method.Exception; 对于成功部署特定依赖项所使用的选项,SPARK文档尚不清楚。我想念什么? 任何建议都欢迎。 非常感谢!
解决方法
我终于能够让它工作了。这是我所做的:必要的组件是: --conf spark.driver.extraClassPath=/local-path-of-each-datanode/spark-with-depencies.jar --conf spark.executor.extraClassPath=/local-path-of-each-datanode/spark-with-depencies.jar 该 jar 包含 Spark 替代版本的所有依赖项。还要确保包含 Yarn/Hadoop 依赖项,因为它必须部署在 Yarn/Hadoop 集群上
spark-submit --master yarn --class MainMethodSparkApp --conf spark.driver.extraClassPath=localPath-to-jar-with-ependencies --conf spark.executor.extraClassPath=localPath-to-jar-with-dependencies --queue queueName --deploy-mode cluster --driver-memory xx --num-executors xx --executor-memory xx --executor-core xx /local-path-on-edgeNode/smalljar.jar
smalljar.jar 是启动应用程序的 jar,不包含依赖项 我注意到必须在每个节点上部署 fat-jar。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。