如何解决在Snowflake Kafka连接器中,我们可以定义文件类型吗
在Snowflake kafka连接器中,我可以使用预定义的数据类型,因为在内部它使用Snowpipe来加载数据。
我要在这里实现的是在将数据加载到舞台表时从json消息中删除外部数组。
解决方法
今天没有选择。您可以在目标Kafka表上创建一个流,并基于该流创建一个任务。然后转换为没有json外部数组的新表。
我建议提出一个新的想法,因为这是一个很好的功能要求:
,我认为最简单的解决方案是在Kafka连接器加载数据的表上创建视图。
我有几种类似的情况,创建了视图来处理数据以消耗和屏蔽PII信息,而无需辅助表或进程。
如果数据量很大和/或您的视图性能不能满足您的需求,则可以随时创建实例化视图。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。