如何解决安装Apche Spark 2.4.3Pyspark的delta lake软件包
我想使用pyspark在Hadoop集群上使用delta lake。除了下面以外,我还没有找到任何使用三角洲湖泊的安装指南。
pyspark-软件包io.delta:delta-core_2.11:0.1.0 --conf “ spark.sql.extensions = io.delta.sql.DeltaSparkSessionExtension” --conf“ spark.sql.catalog.spark_catalog = org.apache.spark.sql.delta.catalog.DeltaCatalog”
我有2个问题:
- 与Apache Spark 2.4.3兼容的delta lake(
- 如何在Hadoop集群上安装delta lake软件包?
谢谢。
解决方法
支持Spark 2.4.3的Delta的最新版本是0.6.1(github branch),请使用--packages io.delta:delta-core_2.11:0.6.1
,它应该可以立即使用。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。