如何解决在BigQuery中通过气流从NEST运行查询的问题
从今天开始,当select中包含NEST时,使用bigquery_operator从气流执行的查询失败。 我有一个查询
SELECT
app_id,NEST(country_code) as country_codes
FROM
(
SELECT
app_id,country_code
FROM TABLE_DATE_RANGE([project:ds.meta],DATE_ADD(TIMESTAMP('20200812'),-2,'DAY'),TIMESTAMP('20200812'))
GROUP BY
app_id,country_code
)
GROUP BY
app_id
并使用scheme从表中导入数据
[
{"name": "app_id","type": "string","mode": "nullable"},{"name": "country_code","mode": "nullable"}
]
具有以下预期方案的新表
[
{"name": "app_id",{"name": "country_codes","mode": "repeated"}
]
flatten_results设置为False
直到今天,一切都很好,但是今天我们遇到了以下错误:
异常:BigQuery作业失败。最终错误是:{'原因': 'invalidQuery','location':'query','message':'无法创建有效的 字段country_codes的输出架构。尝试将country_codes重命名为 最外层的SELECT中的country_codes_group.country_codes。'}。
好像BQ不能从查询中自动检测方案,但是当我将架构配置添加到bigquery_operator时,它也无法工作。我尝试重新运行过去的成功查询,但它们也失败了。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。