如何解决如何使用包含大约 17 个以上表格的 google BigQuery 优化55 GB 数据?
我有大量的数据存储,其中包含近 20 多个表。所有表都包含以 GB 为单位的数据。
所以基本上我将所有数据导出到 CSV 进行分析。我在连接查询中有 17 个以上的表,它们几乎处理了数十亿条记录。 Google 表示将处理 10 GB
数据。
现在的问题是查询占用了太多时间和资源,有时查询会因资源限制而失败。如何优化这样的查询?
仅供参考:我正在使用 LEFT JOIN
解决方法
优化查询的最佳方法是实施分区和聚类。最佳解决方案是在完成加入条件的字段上实现 partitioning and Clustering。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。