如何解决更新BigQuery永久外部表格
我正在使用BigQuery将数据存储在“本地” BigQuery表中以及查询存储在Google Cloud Storage中的数据。根据该文档,可以使用两种类型的表来查询外部源:永久和临时外部表。
考虑以下情形:每天用GCS编写一些镶木地板文件,并且我想以一定的频率在BigQuery表中存储的数据与镶木地板文件中存储的数据之间进行JOIN。如果我创建一个 permanent 外部表,然后更新下面的文件,该表的内容是否也会自动更新,还是必须从新文件中重新创建它?
在这种情况下的最佳做法是什么?
解决方法
将新文件添加到云存储存储桶中时,无需再次重新创建外部表。唯一的例外是,如果新文件中的列数不同,则外部表将无法按预期工作。
您需要使用通配符来读取与特定模式匹配的文件,而不是提供静态文件名。示例:
"gs://bucketName/*.csv"
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。