如何解决AWS DataPipeline从S3存储桶中获取JSON对象输入
我也希望将数据从S3加载到Redshift。进入S3的数据每秒约5MB {近似大小}。
我需要自动将数据从S3加载到Redshift。到S3的数据正在从kafka-stream消费者应用程序中转储。
文件夹S3数据采用文件夹结构。文件夹示例:bucketName / abc-event / 2020/9/15/10
此文件夹中的文件:
abc-event-2020-9-15-10-00-01-abxwdhf。 5MB
abc-event-2020-9-15-10-00-02-aasdljc。 5MB
abc-event-2020-9-15-10-00-03-thntsfv。 5MB
S3中的文件具有用下一行分隔的json对象。
我正在尝试AWS数据管道。 我需要从S3输入JSON对象。 但是,似乎AWS DataPipeline仅采用CSV和TSC格式作为来自S3节点的输入??
我们能否通过从S3文件获取JSON对象的输入并将其加载到redshift来构建AWS DATA-PIPELINE。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。