如何解决使用s3路径的子字符串进行分区
我们有一个s3存储桶,其中的文件格式如下:
6ugdasznp56o_2020-09-04T140000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz
是否可以如下定义storage.location.template
:
6ugdasznp56o_${year}-${month}-${date}T${hour}0000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz
将我的文件分区到此s3存储桶中?
解决方法
分区不能在文件级别进行,而只能在文件夹结构上进行,另请参见Table Location in Amazon S3:
请勿使用以下任何一项为数据指定
LOCATION
。
- 请勿使用文件名,下划线,通配符或glob模式指定文件位置。
无效不起作用的示例:
...
s3://path_to_bucket/mySpecialFile.dat
s3://bucketname/prefix/filename.csv
...
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。