使用 Spark + Yarn 集群在 docker 容器中运行 Zeppelin

如何解决使用 Spark + Yarn 集群在 docker 容器中运行 Zeppelin

我有一个正在运行的带有 YARN 的 Spark 2.3.1 集群。

我正在尝试使用此现有集群在 docker 中运行 Zeppelin 0.9（最新）。 Spark 集群运行良好，我什至有一个非 docker Zeppelin 使用它。

在经历了很多错误和麻烦之后，我来到了这个配置，这是我让它运行的最接近的配置：

用于运行 Zeppelin 的 Docker 命令：

docker run -p 6789:8080 --rm --name zeppelin \
-p 6790:6790 \
--add-host myHadoopHost1:x.x.x.x \
--add-host myHadoopHost2:x.x.x.x \
--add-host myHadoopHost3:x.x.x.x \
--add-host myHadoopHost4:x.x.x.x \
--add-host myHadoopHost1.myDomain.local:x.x.x.x \
--add-host myHadoopHost2.myDomain.local:x.x.x.x \
--add-host myHadoopHost3.myDomain.local:x.x.x.x \
--add-host myHadoopHost4.myDomain.local:x.x.x.x \
-v /etc/hadoop/conf:/hadoopy \
-v /usr/hdp/current/spark2-client:/sparky \
apache/zeppelin:0.9.0

我正在集群节点之一上运行上述 docker 命令。 /etc/hadoop/conf 文件夹包含当前的 hadoop 配置文件。 /usr/hdp/current/spark2-client 包含 spark 二进制文件。

我添加了 --add-host 参数，因为 site-config.xml 和其他 hadoop 配置包含具有此类主机名的参数，我认为在容器内它们不会解析为 IP。

容器成功启动后，我在 zeppelin 解释器页面中配置了 spark 解释器：

SPARK_HOME              /sparky
HADOOP_CONF_DIR         /hadoopy
HDP_VERSION             3.1.0.3.0.0.0-1634
spark.master            yarn-client
spark.submit.deployMode client
spark.app.name          zeppy
spark.driver.port       6790

现在，当我在笔记本中运行 sc.version 时：

Caused by: org.apache.spark.SparkException: Yarn application has 已经结束了！它可能已被杀死或无法启动 应用大师。

当我查看 YARN 中失败的应用程序中的诊断选项卡时，它说：

21/06/13 14:54:04 ERROR yarn.ApplicationMaster：无法连接到 驱动程序位于 4f35de7243e8:6790，正在重试... 21/06/13 14:54:04 错误 yarn.ApplicationMaster：未捕获的异常： org.apache.spark.SparkException：无法连接到驱动程序！在 org.apache.spark.deploy.yarn.ApplicationMaster.waitForSparkDriver(ApplicationMaster.scala:672) 在 org.apache.spark.deploy.yarn.ApplicationMaster.runExecutorLauncher(ApplicationMaster.scala:532) 在 org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(ApplicationMaster.scala:347) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply$mcV$sp(ApplicationMaster.scala:260) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260) 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$5.run(ApplicationMaster.scala:815) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1688) 在 org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser(ApplicationMaster.scala:814) 在 org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:259) 在 org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:839) 在 org.apache.spark.deploy.yarn.ExecutorLauncher$.main(ApplicationMaster.scala:869) 在 org.apache.spark.deploy.yarn.ExecutorLauncher.main(ApplicationMaster.scala) 21/06/13 14:54:04 INFO yarn.ApplicationMaster：最终应用状态： 失败，退出代码：13，（原因：未捕获的异常： org.apache.spark.SparkException：无法连接到驱动程序！） 21/06/13 14:54:04 INFO yarn.ApplicationMaster：删除暂存 目录 hdfs://hadoop01.esensi.local:8020/user/zeppelin/.sparkStaging/application_1621353452821_0535 21/06/13 14:54:04 INFO util.ShutdownHookManager：关闭钩子被调用 有关更详细的输出，请查看应用程序跟踪页面： http://myHadoopHost.myDomain.local:8088/cluster/app/application_1621353452821_0535 然后单击指向每次尝试日志的链接。 .失败 申请。

我打开了容器的驱动端口 6790 并在解释器设置中设置了它，为什么它不能连接到驱动程序？

有什么猜想吗？