如何解决Nifi:如何使用folderFilter从S3提取文件
我需要通过NIFI访问AWS S3存储桶,并将文件从特定子文件夹Ex:-S3存储桶名称:my_bucket处理为HDFS。 my_bucket(S3)ABC,BDE,CEF下的文件夹。我只需要处理BDE子文件夹中的文件,而忽略ABC和CEF格式。
我当前正在使用ListS3->提取S3-> Routeonattribute-> UpdateAttribute-> PutHDFS
我无法过滤ListS3或FetchS3上的文件夹名称。因此,考虑通过如下对绝对路径进行过滤来使用Routeonattribute。如果上述逻辑正确,可以请您帮忙吗? $ {absolute.path:contains('DBE')}
解决方法
可以使用属性前缀过滤ListS3中的文件夹 在前缀中提供所需的文件夹名称。例如:BDE/ 它将附加存储桶名称
因此,它会列出 BUCKET_NAME/PREFIX 中存在的文件
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。