如何解决使用Apache Airflow Tool,为批处理管道实现DAG,以从远程系统获取目录
使用Apache airflow工具,如何为以下Python代码实现DAG。代码中完成的任务是将目录从GPU服务器获取到本地系统。代码在Jupyter笔记本中运行正常。请帮助在Airflow中实施...我对此很陌生。谢谢。
import pysftp
import os
myHostname = "hostname"
myUsername = "username"
myPassword = "pwd"
with pysftp.Connection(host=myHostname,username=myUsername,password=myPassword) as sftp:
print("Connection successfully stablished ... ")
src = '/path/src/'
dst = '/home/path/path/destination'
os.mkdir(dst)
sftp.get_d(src,dst,preserve_mtime=True)
print("Fetched source images from GPU server to local directory")
# connection closed automatically at the end of the with-block```
解决方法
- 对于SFTP职责,Airflow提供了
SFTOperator
,您可以直接使用。 - 或者,它对应的
SFTPHook
可以与简单的PythonOperator
一起使用
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。