如何设置需要访问 s3 并将被推送到在 ECS 中运行的 ECR 的 dockerfile

如何解决如何设置需要访问 s3 并将被推送到在 ECS 中运行的 ECR 的 dockerfile

我是 Docker 和 AWS ECR 和 ECS 服务的新手

我有一个在本地运行的小型网络抓取工具图像，我现在正尝试将其移至 AWS。

网络爬虫结果会保存在a.txt中，该文件已移至s3，因此网络爬虫应用程序需要在开始时读取a.txt，修改并在最后更新。更加具体： dockerfile 中的以下脚本将数据从 s3 移动到容器中：

from python:3.7-slim
run aws s3 cp s3://bucket_name/path_to_a.txt local_path_to_a.txt

然后，app.py 将读取数据并进行处理。在代码末尾，以下脚本将更新 s3 中的 a.txt：

boto3.resource('s3').Bucket(bucket_name).upload_file(local_path_to_a.txt,s3://bucket_name/path_to_a.txt)

这是我目前的工作流程，所以简而言之，dockerfile 需要将文件从 s3 复制到容器中，并且脚本 app.py 会写回。

现在我遇到了问题： 要在本地构建映像以推送到 ECR，我需要授予 aws 对 dockerfile 的访问权限：

# syntax = docker/dockerfile:experimental
run --mount=type=secret,id=aws,target=/root/.aws/credentials \
aws s3 cp s3://bucket_name/path_to_a.txt local_path_to_a.txt

因此，我的问题是这是在 ECR + ECS 中工作的正确方式吗？我知道我可能需要通过设置 IAM 角色来授予容器访问权限，但是，我仍然需要在本地构建映像而不会出现任何错误，这需要从本地计算机进行 aws 访问。

解决方法

在我看来，更好的工作流程是创建一个仅包含执行以下操作的 Python 应用程序的容器映像：

• 将数据从 S3 复制到容器
• 处理容器中的数据以生成新的数据版本
• 将（新）数据从容器放回 S3

为此，您需要两个宏工作流程：

1. 构建镜像并将其推送到 ECR 的工具。您可以在本地执行此操作（您的笔记本电脑需要有凭据才能推送到 ECR）或通过诸如 CodeBuild 之类的服务（构建项目需要关联一个可以推送到 ECR 的 IAM 角色） .
2. 第二个工作流将包括部署 ECS 任务，该任务会拉取您的容器映像并运行它。 ECS 任务需要具有 IAM 角色，以允许它从 ECR 中提取（除了读取/放入 S3）。

,

要使 AWS 命令​​起作用，您需要在 docker 映像中设置 AWS 访问密钥和秘密密钥，它们可以通过 env 变量摄取。但这不是推荐的最佳做法。

如果您将流程自动化，那么您可以拥有一个 EC2 实例或具有适当 IAM 角色的代码构建，以便在 docker 构建之前从 S3 下载文件