AWS Athena / Presto-嵌套两个表

如何解决AWS Athena / Presto-嵌套两个表

我想使用aws athena嵌套两个镶木表，以便：

表A

|document_id| name|
+-----------+-----+
|          1|  aaa|
|          2|  bbb|

表B

|   topic_id| name|document_id|
+-----------+-----+-----------+
|          1|  xxx|          1|
|          2|  yyy|          2|
|          3|  zzz|          2|

将表B嵌套到表A中以获得类似的信息

[
    {
        "document_id": 1,"name": "aaa","topics": [
            {
                "topic_id": 1,"name": "xxx"
            }
        ]
    },{
        "document_id": 2,"name": "bbb","topics": [
            {
                "topic_id": 2,"name": "yyy"
            },{
                "topic_id": 3,"name": "zzz"
            }
        ]
    }
]

有可能吗？有什么想法吗？

注意：我从this stakoverflow thread

获得了示例

解决方法

我认为可以使用map_concat和array_agg-但我需要将topic_id转换为varchar：

Immediate

,

此查询应为您提供所需的结果：

SELECT
  a.document_id,ARBITRARY(a.name) AS name,ARRAY_AGG(
    CAST(
      ROW(topic_id,b.name)
      AS ROW(topic_id INTEGER,name VARCHAR)
    )
  ) AS topics
FROM table_a a
LEFT JOIN table_b b USING (document_id)
GROUP BY a.document_id

如果运行该查询并将结果转换为JSON数组，则应该从问题中获得所需的结果。

解决方案的核心是使用ROW构建主题结构，并为每个文档聚合这些结构。这是雅典娜令人困惑的细节。 DDL语句使用Hive SQL，其类型为struct，查询使用Presto SQL，其等效概念为ROW，并且整数和字符串类型的名称也不同也无济于事。在DDL中，类型为struct<topic_id:int,name:string>，但在DML中，类型为ROW(topic_id INTEGER,name VARCHAR)。

我使用ARBITRARY作为文档名称，但是按文档ID和名称分组也可以，结果将是相同的。

当我对您的问题中的数据运行上面的查询时，会得到以下结果：

document_id | name | topics
------------+------+-------
1           | aaa  | [{topic_id=1,name=xxx}]
2           | bbb  | [{topic_id=3,name=zzz},{topic_id=2,name=yyy}]

如果您将结果集读取为JSON，则应该以模顺序正确获取您发布的内容。