如何解决使用Python通过流将数据从S3传输到FTP服务器
我想使用Python将与模式sample1
相匹配的文件直接从AWS S3复制到FTP服务器,而无需下载到本地临时位置。
我尝试了以下操作:
import s3fs
from ftplib import FTP_TLS
s3 = s3fs.S3FileSystem(anon=False)
pattern = 'sample1'
rest = [i for i in list if pattern in i]
rest
ftp = FTP_TLS("ftp.test.com")
ftp.login(user ='myUser',passwd = 'PassWrd')
ftp.cwd("box_dest")
for f in rest:
print(f)
with open(f,'r') as fu:
ftp.storbinary('STOR ' + f,fu)
我得到:
[u'test-bucket/abc/test/sample1.csv']
test-bucket/abc/test/sample1.csv
Traceback (most recent call last):
File "<stdin>",line 3,in <module>
IOError: [Errno 2] No such file or directory: u'test-bucket/abc/test/sample1.csv'
关于如何实现此目标的任何建议?谢谢!
解决方法
要从S3中读取文件,您需要使用S3FileSystem.open
,而不是os.open
。
在指定目标FTP路径时,您只需从原始S3路径中提取文件名即可。 posixpath.basename
应该做。
for f in rest:
print(f)
with s3.open(f,'r') as fu:
ftp.storbinary('STOR ' + posixpath.basename(f),fu)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。