如何解决数据砖引发工作无进展
好吧,我正在尝试运行一个在Databricks群集上使用Spark的作业。
有时候,它没有任何进展,并且可以永远运行而没有任何错误,集群可以无限期地运行,请查看以下日志。我已经意识到,当集群中有0个工作程序时,可能会发生这种情况。但是在这种情况下,我尝试使用3个工作节点运行,并遇到相同的问题。
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=512m; support was removed in 8.0
Warning: Ignoring non-Spark config property: eventLog.rolloverIntervalSeconds
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR,use setLogLevel(newLevel).
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
[Stage 0:> (0 + 0) / 1]
有什么想法吗?
解决方法
解决方案是从我的Spark初始化程序中删除以下配置。
.config('spark.driver.host','127.0.0.1')
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。