如何解决如何仅将更新的文件/文件夹从AWS S3存储桶复制到本地计算机?
我需要将某些文件从S3存储桶复制到本地计算机。以下是我需要注意的重点:
- 根据日期文件夹将文件保存在S3存储桶中。
- 文件的扩展名为
csv.gz
,我需要将其更改为csv
并将其复制到本地计算机上。 - 它会随时更新,我只需要复制新文件并进行处理。处理后的文件无需再次复制。
我尝试使用同步文件夹,但是在处理了文件之后,文件名被重命名,并且csv.gz文件再次与本地文件夹同步。
我正计划使用一些预定任务来完成任务。
解决方法
Amazon S3是一项存储服务。它无法为您“处理”文件。
如果您希望更改文件的内容(例如,从.csv.gz
转换为.csv
),则需要在本地计算机上自行完成。
通过AWS Command-Line Interface (CLI) aws s3 sync
命令,可以轻松地复制自上一个sync
起已更改/添加的文件。但是,如果要在本地更改文件(解压缩),则可能需要编写自己的程序以从Amazon S3下载。
有适用于流行编程语言的AWS开发工具包。您还可以进行网络搜索以查找使用Amazon S3的示例代码。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。