如何解决使用 Paramiko 将文件从 SFTP 传输到 S3
我正在使用 Paramiko 访问远程 SFTP 文件夹,并且我正在尝试编写将文件从 SFTP 中的路径传输到 AWS S3 存储桶的代码(使用简单的逻辑使用文件元数据检查其上次修改日期) .
我已经使用 Boto3 设置了到 S3 的连接,但我似乎仍然无法编写一个工作代码来传输文件而不先将它们下载到本地目录。这是我尝试使用 Paramiko 的 getfo()
方法的一些代码。但它不起作用。
for f in files:
# get last modified from file metadata
last_modified = sftp.stat(remote_path + f).st_mtime
last_modified_date = datetime.fromtimestamp(last_modified).date()
if last_modified_date > date_limit: # check limit
print('getting ' + f)
full_path = f"{folder_path}{f}"
fo = sftp.getfo(remote_path + f,f)
s3_conn.put_object(Body=fo,Bucket=s3_bucket,Key=full_path)
谢谢!
解决方法
使用 Paramiko SFTPClient.open
获取可以传递给 Boto3 Client.put_object
的类文件对象:
with sftp.open(remote_path + f,"r") as f:
f.prefetch()
s3_conn.put_object(Body=f)
对于 f.prefetch()
,请参阅 Reading file opened with Python Paramiko SFTPClient.open method is slow。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。