如何解决Spark 3.0-> Delta Lake 0.7.0 <-> AWS Glue Catalog-> Athena-实现集成
我正在EC2实例上使用增量为0.7.0的独立spark(pyspark)3.0。 有人可以指导我如何从Hive Metastore目录(在derby上)迁移到Glue Catalog的指南。
如果有道理,我们的目标是以自动化的方式让Spark作业使用与Athena相同的目录。 意思是,当模式更改/新分区/新表/更改表在Delta Catalog级别发生时,应将其传播到Glue Catalog
谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。