如何解决将Google云存储中的json文件加载到大查询表中
我正在尝试使用python使用客户端库执行此操作。
我面临的问题是JSON文件上的TIMESTAMP是Unix时代的TIMESTAMP格式,大查询无法检测到该问题:
根据文档:
所以我想知道该怎么办?
我考虑过在将其加载到BigQuery表之前手动更改JSON格式吗?
或者也许正在从BigQuery方面寻求自动转换?
我想知道整个互联网,但是找不到有用的东西。
预先感谢您的支持。
解决方法
您有2个解决方案
- 要么在BigQuery集成之前就更新格式
- 或者您在BigQuery集成后更新格式
之前
Before表示(手动或通过脚本)更新JSON或通过将JSON加载到BigQuery的过程来更新JSON(如Dataflow)。
我个人不喜欢这样,文件处理永远不会有趣又高效。
之后
在这种情况下,您可以让BigQuery将JSON文件加载到临时表中,然后将UNIX时间戳转换为数字或字符串。然后,对这个临时表执行一个请求,以正确的时间戳格式转换该字段,然后将数据插入最终表中。
这种方式更流畅,更容易(编写简单的SQL查询)。但是,这意味着读取所有已加载的数据(然后写入它们)会花费成本。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。