如何解决Spark History Server未显示其他用户的作业
我已经设置了YARN集群(使用hadoop-3.3.0
并配置了spark(spark-3.0.0-bin-hadoop3.2
),以便可以在YARN上运行我的spark应用程序。所有这些设置都是通过admin
用户完成的。 admin
个用户位于我的群集的每个节点上。为了监视应用程序,我还启动了Spark History Server。历史记录服务器正确显示通过admin
用户提交的spark应用程序。
但是,如果Spark作业是通过其他用户提交的,则说alice
,Spark History Server不会显示alice
提交的应用程序。有什么解决办法吗?
设置详细信息:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://<HDFS_URL>/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://<HDFS_URL>/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 8080
spark.yarn.historyServer.address <HISTORY_SERVER_IP>:8080
hdfs://<HDFS_URL>/spark-logs
具有权限777
$YARN_HOME/logs
具有权限777
$YARN_HOME/logs/userlogs
具有权限777
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。