如何解决Zeppelin 在加载 DeltaTable 后失败,“找不到活动的 SparkSession”
我在 Zeppelin 中尝试对 Delta Lake 表进行重复查询时遇到问题。此代码片段第一次运行时没有任何问题:
import io.delta.tables._
val deltaTable = DeltaTable.forPath("s3://bucket/path")
deltaTable.toDF.show()
但是当我尝试第二次运行它时,它失败并显示以下错误:
java.lang.IllegalArgumentException: Could not find active SparkSession
at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
at scala.Option.getOrElse(Option.scala:121)
at io.delta.tables.DeltaTable$.forPath(DeltaTable.scala:619)
... 51 elided
我可以重新启动 Spark 解释器并再次运行查询,但这对开发来说是一个巨大的障碍。有谁知道为什么会发生这种情况以及是否有一种解决方法不涉及每次我想运行新查询时都重新启动解释器?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。