如何解决从EMR pyspark访问Athena View,以最有效的方式重新创建外部表或胶目录
我已经阅读了其他问题,对此选项感到困惑。我想阅读EMR Spark中的Athena view
,并通过在google / stackoverflow上进行搜索,意识到这些视图以某种方式存储在S3中,所以我首先尝试通过以下方式查找视图的外部位置:
Describe mydb.Myview
它提供架构,但不提供外部位置。据此,我假设无法从S3
到目前为止,我在阅读Spark中的雅典娜视图时已经考虑过
我考虑了以下选项
-
使用带有外部格式为
PARQUET
的WITH语句从该雅典娜视图中制作一个新表CREATE TABLE Temporary_tbl_from_view WITH ( format = 'PARQUET',external_location = 's3://my-bucket/views_to_parquet/',) AS ( SELECT * FROM "mydb"."myview"; );
- 另一种选择基于this answer,这表明
启动EMR群集(v5.8.0和更高版本)时,可以进行指示 连接到您的胶水数据目录。这是 “创建集群”对话框。当您选中此选项时,Spark SqlContext将连接到Glue数据目录,您将能够 查看雅典娜的桌子。
但是我不确定,如果在Spark上下文中可以通过view
使用athena表/视图,那么如何在pyspark中查询此Glue catalogue
(不是表),像这样的简单语句行得通吗? / p>
sqlContext.sql("SELECT * from mydbmyview")
问题,在spark中读取此视图的更有效方法是,使用WITH语句(外部位置)重新创建表意味着我将这个东西存储在Glue catalog
或S3
两次?如果是,如何直接通过S3或胶目录读取它?
解决方法
只是为了与他人共享我所遵循的解决方案,我创建了启用以下选项的集群
Use AWS Glue Data Catalog for table metadata
然后,我从AWS GLUE中看到了database
的名称,并能够在tablename
中看到所需的视图,如下所示
spark.sql("use my_db_name")
spark.sql("show tables").show(truncate=False)
+------------+---------------------------+-----------+
|database |tableName |isTemporary|
+------------+---------------------------+-----------+
| my_db_name|tabel1 |false |
| my_db_name|desired_table |false |
| my_db_name|tabel3 |false |
+------------+---------------------------+-----------+
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。