这是减少我的docker映像大小的正确方法吗？

如何解决这是减少我的docker映像大小的正确方法吗？

我正在需要pytorch和Azure ML服务的Docker容器中运行深度学习模型。

AML的要求是Ubuntu 18.04（默认情况下，它只有python3.6，并且安装python3.7 +的唯一方法是从我能找到的来源中获得） pytorch中的变形金刚有python 3.7+的要求我需要和Cuda一起使用pytorch，所以我选择abinali/pytorch https://github.com/anibali/docker-pytorch/blob/master/dockerfiles/1.5.0-cuda10.2-ubuntu18.04/Dockerfile

问题是图像的大小约为4GB以上。所以我想将PyTorch安装移出映像，并在docker运行容器时运行install（这会增加容器的正常运行时间）。运行基本的割炬命令时出错

File "test.py",line 1,in <module>
    import torch
  File "/home/user/miniconda/lib/python3.8/site-packages/torch/__init__.py",line 135,in <module>
    _load_global_deps()
  File "/home/user/miniconda/lib/python3.8/site-packages/torch/__init__.py",line 93,in _load_global_deps
    ctypes.CDLL(lib_path,mode=ctypes.RTLD_GLOBAL)
  File "/home/user/miniconda/lib/python3.8/ctypes/__init__.py",line 373,in __init__
    self._handle = _dlopen(self._name,mode)
OSError: /home/user/miniconda/lib/python3.8/site-packages/torch/lib/../../../../libnvToolsExt.so.1: invalid ELF header

所以我当前的docker文件是：

From nvidia/cuda:10.2-base-ubuntu18.04

RUN apt-get update && apt-get install -y \
    curl \
    ca-certificates \
    sudo \
    git \
    bzip2 \
    libx11-6 \
 && rm -rf /var/lib/apt/lists/*


# Create a working directory

# COPY . /app
# WORKDIR /app/
RUN mkdir /app
COPY . /app
WORKDIR /app


# Create a non-root user and switch to it
RUN adduser --disabled-password --gecos '' --shell /bin/bash user \
 && chown -R user:user /app
RUN echo "user ALL=(ALL) NOPASSWD:ALL" > /etc/sudoers.d/90-user
USER user

# All users can use /home/user as their home directory
ENV HOME=/home/user
RUN chmod 777 /home/user


# Install Miniconda and Python 3.8
ENV CONDA_AUTO_UPDATE_CONDA=false
ENV PATH=/home/user/miniconda/bin:$PATH
RUN curl -sLo ~/miniconda.sh https://repo.continuum.io/miniconda/Miniconda3-py38_4.8.2-Linux-x86_64.sh \
 && chmod +x ~/miniconda.sh \
 && ~/miniconda.sh -b -p ~/miniconda \
 && rm ~/miniconda.sh \
 && conda install -y python==3.8.1 \
 && conda clean -ya



CMD ["sh","-c","conda install -y -c pytorch cudatoolkit=10.2 \"pytorch=1.5.0=py3.8_cuda10.2.89_cudnn7.6.5_0\" \"torchvision=0.6.0=py38_cu102\" && conda clean -ya && python test.py"]

解决方法

由于您需要 cuda ，可能python-slim的基本映像已成问题，但我认为您可以尝试多阶段构建。

您可以将所有依赖项安装在基本的第一个映像中，然后将它们（可能在/usr/local/lib/python/site-packages/和/usr/local/bin/中的某个位置）复制到第二个映像（您的发行版）中。

这是一个关于article的多层建筑。希望对您有帮助。

通过CMD安装运行时依赖项不是减小Docker映像大小的典型方法。正如OP所指出的，这在容器启动方面带来了成本。

可以对Dockerfile进行一些更改以减小映像大小。

使用已安装miniconda但未安装cuda / cudnn的基本映像。 OP通过conda安装pytorch，cuda和cudnn，因此映像中将存在cudnn和cuda的重复安装（一个来自nvidia/cuda基本映像，另一个来自conda）。请参阅Azure ML documentation，以获取Azure ML提供的公共基础映像的列表。
在--no-install-recommends命令中使用apt-get install。这样可以防止apt-get安装建议的依赖项，而对于软件包的使用则不需要。
在--chown期间，使用COPY中的COPY选项更改复制文件的所有权。在RUN chown ...之后使用COPY将导致/app的大小计入Docker映像总大小的两倍。

这是一个实现我建议的Dockerfile。这将创建一个3.43 GB的Docker映像。

FROM continuumio/miniconda3

RUN apt-get update \
    && apt-get install -y --no-install-recommends \
        curl \
        ca-certificates \
        sudo \
        git \
        bzip2 \
        libx11-6 \
    && rm -rf /var/lib/apt/lists/*

# Create a non-root user
RUN adduser --disabled-password --gecos '' --shell /bin/bash user \
    && echo "user ALL=(ALL) NOPASSWD:ALL" > /etc/sudoers.d/90-user

# All users can use /home/user as their home directory
ENV HOME=/home/user
RUN chmod 777 /home/user

# Install pytorch.
ENV CONDA_AUTO_UPDATE_CONDA="false"
RUN conda install --yes python=3.8 \
    && conda install --yes --channel pytorch \
        cudatoolkit=10.2 \
        pytorch=1.5.0=py3.8_cuda10.2.89_cudnn7.6.5_0 \
        torchvision=0.6.0=py38_cu102 \
    && conda clean --all --yes

USER user
WORKDIR /app
COPY --chown=user:user . .

CMD ["python","test.py"]

这是减少我的docker映像大小的正确方法吗？

如何解决这是减少我的docker映像大小的正确方法吗？

解决方法

相关推荐