AWS |从SFTP提取数据

如何解决AWS |从SFTP提取数据

我打算编写一个数据管道，将数据从本地SFTP服务器拉到S3。我该如何实现？我只对AWS特定服务感兴趣。

解决方法

假设您有一个密钥文件可以连接到您的AWS实例，则可以使用scp在文件传输命令中指定它：

scp -i ~/.ssh/<aws_key>.pem <path_to_source_file> <aws_user>@<aws_ip>:<destination_path>

,

AWS提供了一种将文件从任何本地服务器直接传输到s3的本地方法。 AWS传输系列。它是用于S3的多可用区，高度可用，大规模扩展的SFTP接口。基本上，您将运行cron或调度程序进程，以通过AWS SFTP服务器将本地SFTP服务器文件传输到S3存储桶中。

文档链接-AWS Transfer Family

这里唯一要注意的是它的价格。它的成本略高。有一些价格较低的第三方工具，例如适用于AWS的SFTP网关，可以在AWS市场中找到

文档链接-SFTP Gateway

最后，如果您的用例很简单，每天只有很少的SFTP上传，则解决方案是使用T2 / T3 EC2实例和cronjob运行定制开发的管道脚本，该脚本从本地SFTP服务器上提取数据。 / p>

,

使用以下AWS服务： SFTP的AWS传输

您可以使用AWS Transfer for SFTP将少量数据集（5 TB或更少）或更大的数据量从本地SFTP服务器迁移到AWS S3。数据可以是数据库转储或平面文件。此解决方案将昂贵。

有关更多信息，请参阅AWS Docs中的参考：Migrate small sets of data from on-premises to Amazon S3 using AWS SFTP

对于一个具有成本效益的解决方案，请使用任何开放源代码工具将数据从内部Openbridge SFTP S3 Transfer Gateway等本地SFTP服务器直接发送到AWS S3。