如何解决Dataprep-将数据追加到BigQuery表
我正在使用GCP的dataprep联接几个csv文件(具有相同的列结构),处理一些数据并写入BigQuery。
我必须将这些数据记录在bigquery中,可以将dataprep中的数据包括在内并附加到bigquery表中吗?
解决方法
是的,有可能截断数据或将数据追加到BigQuery表。在BigQuery表选择的输出步骤DataPrep步骤中,您可以设置将添加到表中的内容。
,是的,您可以包含来自DataPrep的数据并将其附加到BigQuery表中。
在运行作业之前,在“在DataFlow上运行作业”部分:
- 单击操作,因为您使用的是BigQuery作为输出,因此应类似于“ Create-BigQuery”
- 在接下来的窗口中选择输出表
- 在左侧面板中,选择“每次运行都添加到此表”
- 点击更新
现在,当您运行作业时,这将追加您的数据。
以下documentation可能有用。
,我的难点在于“连接您的数据”这一步。我有很多带有前缀 events_
的表,我想要的比所有的都多。当然,我的直觉是参数化这样做 events_*
但我在 bigquery 表摄取中没有这个选项(连接你的数据步骤)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。