如何向现有的 Docker/Singularity 映像添加额外的命令行工具？

如何解决如何向现有的 Docker/Singularity 映像添加额外的命令行工具？

我从事神经科学工作，我使用名为 Brainlife 的云平台上传和下载数据（链接 here，但我认为 Brainlife 的知识与此问题无关）。我使用 Brainlife 的命令行界面在我大学的服务器上上传和下载数据。为了使用他们的 CLI，我使用 Brainlife 创建的 Docker 映像运行 Singularity（找到 here）。我使用以下代码运行它：

singularity shell docker://brainlife/cli -B

我也将文件保存在我的服务器帐户中，可以这样运行：

singularity shell brainlifeimage.sif -B

运行其中一个命令后，我可以下载和上传数据，通常是成功的。目前我正在按照 Brainlife 的教程批量下载数据。本教程使用命令行工具“jq”（link），该工具不在他们的 docker 镜像中。我尝试将它安装在 Singularity shell 中，如下所示：

apt-get install jq

它返回了：

Reading package lists... Done
Building dependency tree       
Reading state information... Done
W: Not using locking for read only lock file /var/lib/dpkg/lock
E: Unable to locate package jq

有没有一种简单的方法可以将这个工具添加到图像中？我一直在阅读 Singularity 和 Docker 文档，但 Docker 对我来说是全新的，我真的很迷茫。

如果相关，我的大学服务器在 Ubuntu 16.04.7 LTS 上运行，我在运行 MacOS 11.3 的 Mac 笔记本电脑上使用终端。这是我的第一个堆栈溢出问题 - 如果我可以提供任何其他信息，请告诉我！非常感谢。

解决方法

简短而具体的答案：jq 是可移植的，因此您只需将其装入映像并正常使用即可。 例如

singularity shell -B /path/to/jq:/usr/bin/jq brainlifeimage.sif

简短而笼统的回答：您不能修改只读图像，而需要构建一个新图像。

---

包含多个选项和具体示例的长答案：

由于奇点图像是只读的，因此无法对其进行持久更改。这对于再现性非常有用，如果您的工具可能经常更改，则有点不方便。您可以通过多种方式重建映像，但所有方式都需要 sudo 权限。

1. 根据 docker 镜像编写新的 Singularity 定义

创建一个新的定义文件（通常称为 Singularity 或 something.def），使用当前容器作为基础并在 %post 部分添加所需的软件。然后使用以下命令构建新映像：sudo singularity build brainy_jq.sif Singularity

definition file docs 非常好，强烈推荐。

Bootstrap: docker
From: brainlife/cli:latest

%post
    apt-get update && apt-get install -y jq

2. 创建当前奇点图像的沙箱，进行更改，然后转换回只读图像。请参阅 writable sandbox directories 和 converting images between formats 上的奇点文档。

# use --sandbox to create a writable singularity image
sudo singularity build --sandbox writable_brain/ brainlifeimage.sif
# --writable must still be used to make changes,and sudo for correct permissions
sudo singularity exec writable_brain/ bash -c 'apt-get update && apt-get install -y jq'
# convert back to read-only image for normal usage
sudo singularity build brainlifeimage_jq.sif writable_brain/

3. 在本地修改源 docker 镜像并从中构建。更多... 创意 选项之一。几乎不需要 sudo，除了 singularity pull 不接受 docker-daemon，因此需要 sudo singularity build。

# add jq to a new docker container. the value for --name doesn't matter,but we use it
# in later steps. The entrypoint needs to be overridden in this case as well.
docker run -it --name brainlife-jq --entrypoint=/bin/bash \
    brainlife/cli:1.5.25 -c 'apt-get update && apt-get install -y jq'

# use docker commit to create an image from the container so it can be reused
# note that we're using the name of the image set in the previous step
# the output of docker commit is the hash for the newly created image,so we grab that
IMAGE_ID=$(docker commit brainlife-jq)

# tag the newly created image with a more useful name
docker tag $IMAGE_ID brainlife/cli:1.5.25-jq

# here we use docker-daemon instead of docker to build from a locally cached docker image
# instead of looking at docker hub
sudo singularity build brainlife_jq.sif docker-daemon://brainlife/cli:1.5.25-jq

# now check that it all worked as planned
singularity exec brainlife_jq.sif which jq
# /usr/bin/jq

参考：docker commit，using locally cached docker images