如何解决禁止从私有注册表访问进行 AWS EB docker-compose 部署
我正在尝试将 docker-compose 部署到 AWS Elastic Beanstalk 工作,其中 docker 镜像是从 GitLab 托管的私有注册表中提取的。
奇怪的是初始部署完美无缺;它从私有注册表中拉取镜像并使用 docker-compose 启动容器,并且可以通过主机访问网页(由 Django 提供)。
使用相同的 docker-compose 和相同的 docker 镜像部署新版本会导致拉取 docker 镜像时出错:
2021/03/16 09:28:34.957094 [ERROR] An error occurred during execution of command [app-deploy] - [Run Docker Container]. Stop running the command. Error: failed to run docker containers: Command /bin/sh -c docker-compose up -d failed with error exit status 1. Stderr:Building with native build. Learn about native build in Compose here: https://docs.docker.com/go/compose-native-build/
Creating network "current_default" with the default driver
Pulling redis (redis:alpine)...
Pulling mysql (mysql:5.7)...
Pulling project.dockertest(registry.gitlab.com/company/spikes/dockertest:latest)...
Get https://registry.gitlab.com/v2/company/spikes/dockertest/manifests/latest: denied: access forbidden
2021/03/16 09:28:34.957104 [INFO] Executing cleanup logic
设置
AWS Elastic Beanstalk 64 位 Amazon Linux 2/3.2
Gitlab 注册表凭证存储在 S3 存储桶中,文件名为 .dockercfg
并具有以下内容:
{
"auths": {
"registry.gitlab.com": {
"auth": "base64 encoded username:personal_access_token"
}
},"HttpHeaders": {
"User-Agent": "Docker-Client/18.03.1-ce (linux)"
}
}
存储库包含一个 v3 Dockerrun.aws.json
文件,用于引用 S3 中的凭证文件:
{
"AWSEBDockerrunVersion": "3","Authentication": {
"bucket": "gitlab-dockercfg","key": ".dockercfg"
}
}
复制
设置 docker-compose.yml 使用带有私有 docker 镜像的服务(并且可以使用 S3 中 dockercfg 中的凭据设置拉取)
创建一个使用 docker-platform 的新应用程序。
eb init testapplication --platform=docker --region=eu-west-1
注意:区域必须与包含 dockercfg 的 S3 存储桶相同。
初始部署(这会成功)
eb create testapplication-test --branch_default --cname testapplication-test --elb-type=application --instance-types=t2.micro --min-instance=1 --max-instances=4
初始部署显示镜像可用,可以启动:
2021/03/16 08:58:07.533988 [INFO] save docker tag command: docker tag 5812dfe24a4f redis:alpine
2021/03/16 08:58:07.533993 [INFO] save docker tag command: docker tag f8fcde8b9ae2 mysql:5.7
2021/03/16 08:58:07.533998 [INFO] save docker tag command: docker tag 1dd9b65d6a9f registry.gitlab.com/company/spikes/dockertest:latest
2021/03/16 08:58:07.534010 [INFO] Running command /bin/sh -c docker rm `docker ps -aq`
不对本地存储库和私有注册表上的远程 docker 映像进行任何更改,让我们进行重新部署,这将触发错误:
eb deploy testapplication-test
这将失败并显示以下输出:
...
2021-03-16 10:02:28 INFO Command execution completed on all instances. Summary: [Successful: 0,Failed: 1].
2021-03-16 10:02:29 ERROR Unsuccessful command execution on instance id(s) 'i-0dc445d118ac14b80'. Aborting the operation.
2021-03-16 10:02:29 ERROR Failed to deploy application.
ERROR: ServiceError - Failed to deploy application.
实例的日志显示(/var/log/eb-engine.log
):
Pulling redis (redis:alpine)...
Pulling mysql (mysql:5.7)...
Pulling project.dockertest (registry.gitlab.com/company/spikes/dockertest:latest)...
Get https://registry.gitlab.com/v2/company/spikes/dockertest/manifests/latest: denied: access forbidden
2021/03/16 10:02:25.902479 [INFO] Executing cleanup logic
我尝试调试或解决问题的步骤
- 在 S3 上将 dockercfg 重命名为 .dockercfg(互联网上某处提到作为可能的解决方案)
- 使用“旧”的 docker 配置格式,而不是 docker 1.7+ 生成的格式。但后来我发现 Amazon Linux 2-instances 与 Dockerrun v3 一起兼容新格式
- 在 S3 上使用格式不正确的 dockercfg 将导致有关格式错误的文件的错误部署(因此它实际上对来自 S3 的 dockercfg 执行了一些操作)
文档
我没有调试选项,我不知道去哪里进一步调试这个问题。也许有人可以看到这里出了什么问题?
解决方法
首先,上述问题是亚马逊确认的错误。为了让部署在我们这边工作,我们已经联系了亚马逊支持。 他们有一个应该在本月发布的修复程序,所以请密切关注 Elastic beanstalk 平台的更新日志:https://docs.aws.amazon.com/elasticbeanstalk/latest/relnotes/relnotes.html
尽管即将发布的版本应该会修复,但有一种解决方法可以让 docker-compose
部署正常工作。
Elastic Beanstalk 允许在部署中执行钩子,可用于从 S3 存储桶中获取 .docker.cfg
以针对私有注册表进行身份验证。
为此,请从项目的根目录创建以下文件和目录:
文件位置:.platform/hooks/predeploy/docker_login
#!/bin/bash
aws s3 cp s3://{{bucket_name_to_use}}/.dockercfg ~/.docker/config.json
重要:为此文件添加执行权限(例如:chmod +x .platform/hooks/predeploy/docker_login
)
要支持实例配置更改,请将 hooks
目录符号链接到 confighooks
:
ln -s .platform/hooks/ .platform/confighooks/
更新配置也需要获取 .dockercfg
凭据。
这应该能够在没有身份验证错误的情况下持续部署到同一个 EB 实例,因为挂钩将在 docker 镜像拉取之前执行。
一些背景:
在传统的 linux 系统上,docker 守护进程默认从 ~/.docker/config
读取凭据。在初始部署时,此文件将存在于 Elastic Beanstalk 实例中。在下一次部署时,此文件将被删除。不幸的是,在下一次部署中,不会重新获取 .dockercfg
,因此 docker 守护程序没有正确的凭据来进行身份验证。
我在尝试从私人托管的 GitLab 实例中提取图像时遇到了同样的错误。我能够通过在 auth
文件的 .dockercfg
字段中包含与生成的令牌相关联的电子邮件地址来解决这些问题。
以下文件格式对我有用:
"registry.gitlab.com" {
"auth": "base64 encoded username:personal_access_token","email": "email for personal access token"
}
在我的例子中,我使用了一个 Project Access Token,它在创建后有一个关联的电子邮件地址。
Elastic Beanstalk 文档中用于身份验证文件 here 的文件格式表明这是必需的文件格式,尽管它说需要这种格式的版本几乎肯定已经过时,因为我们正在运行Docker ^19
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。