如何解决我们如何与 Dataproc Metastore 交互以获取数据库和表的列表?
我使用 Dataproc Metastore 作为 GCP 的 Metastore 服务。我如何与它交互以从中获取数据库和表的列表?是否可以在不运行 dataproc 集群的情况下执行此操作?
编辑 - 我必须在不运行 Dataproc 集群的情况下获取元数据。 由于我使用 Dataproc Metastore 服务来存储元数据,因此我需要直接从中获取元数据。
解决方法
Dataproc Metastore API 用于管理 Dataproc Metastore 服务实例(获取/创建/更新等)。如其中一条评论所述,您可以使用 thrift URI(如果您使用的是控制台,您将在 Metastore 服务的配置选项卡下找到该 URI)。
一旦您有一个连接到 thrift URI 的 thrift 客户端,您就可以获取 databases 或 tables。尽管您也可以使用 thrift API 来 create databases 和 tables,但典型的用例是配置一个大数据处理引擎/框架(如 spark 或 hive)来使用 Metastore 而不是直接与元存储。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。