在docker容器内具有ssh命令的shell脚本失败--ssh：not found

如何解决在docker容器内具有ssh命令的shell脚本失败--ssh：not found

我有一个在docker容器上运行的spring boot java应用程序，它尝试运行shell脚本。 shell脚本有一个ssh命令，运行它时出现以下错误

    2020-08-12 09:22:29.425  INFO 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : Executing spark submit,calling shell script: /tmp/temp843155675494688636.sh 172.29.199.15
    2020-08-12 09:22:29.434 DEBUG 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : Starting Input Stream:
    2020-08-12 09:22:29.435  INFO 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : #1 arg: 172.29.199.15
    2020-08-12 09:22:29.436  INFO 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : Exist Value127
    2020-08-12 09:22:29.436 ERROR 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : Starting Error Stream:
    2020-08-12 09:22:29.436 ERROR 1 --- [io-11013-exec-1] b.n.i.s.d.e.service.EmrManagerService    : 
    /tmp/temp843155675494688636.sh: line         5: ssh: not found

当直接运行jar而不是将其作为docker容器运行时，相同的代码可以正常工作。 与Docker容器中无法识别的ssh有关吗？

    shell script - 
    #!/bin/bash
    
    
    echo "#1 arg:" $1
    ssh -i /home/dnaidaasd/aws-oneid-idaas-2020Q2.pem -oStrictHostKeyChecking=no hadoop@$1 '/etc/alternatives/jre/bin/java -Xmx1000m -server \ 
    -XX:OnOutOfMemoryError="kill -9 %p" -cp "/usr/share/aws/emr/instance \
    -controller/lib/*" -Dhadoop.log.dir=/mnt/var/log/hadoop/steps/s-100-120 \
    -Dhadoop.log.file=syslog -Dhadoop.home.dir=/usr/lib/hadoop \ 
    -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=:/usr/lib/hadoop-lzo/lib/native:/usr/lib/hadoop/lib/native \
    -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true \
    -Djava.io.tmpdir=/mnt/var/lib/hadoop/steps/s-14611-353/tmp \
    -Dhadoop.security.logger=INFO,NullAppender \
    -Dsun.net.inetaddr.ttl=30 \
    org.apache.hadoop.util.RunJar /var/lib/aws/emr/step-runner/hadoop-jars/command-runner.jar spark-submit \
    --conf spark.hadoop.mapred.output.compress=true \
    --conf spark.hadoop.mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \
    --class biz.neustar.idaas.services.dataprofile.ProfileMain \
    --name IdaasProfile --conf spark.dynamicAllocation.enabled=true \
    --conf spark.executor.instances=2 --conf spark.driver.memory=8G \
    --conf spark.executor.memory=4G --conf spark.executor.cores=1 \
    --conf spark.sql.catalogImplementation=hive \
    --jars s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/spark-core_2.11-2.4.5.jar,s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/spark-sql_2.11-2.4.5.jar,s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/spark-mllib_2.11-2.4.5.jar,s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/jackson-module-scala_2.11-2.6.7.1.jar,s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/jackson-databind-2.6.7.jar  s3://oneid-idaas-dev-us-east-1/dev/emr/TestIdaasProfile/data-profile-14.0.jar' \
    $2 $3 $4

此shell脚本称为-

public void executeSparkSubmit(String masterNodeIp,String pathToScript,String input_hive_table,String s3_output_path,String output_hive_table ) throws IOException,InterruptedException,DataProfileServiceException {

        log.info("Executing spark submit,calling shell script: " + pathToScript + " " + masterNodeIp);
        ProcessBuilder pb = new ProcessBuilder("sh",pathToScript,masterNodeIp,input_hive_table,s3_output_path,output_hive_table);
        Process pr = pb.start();

Dockerfile的内容是：

FROM openjdk:8-jdk-alpine
ADD ./data-profile-provider/build/libs/data-profile-provider-203.2.0-SNAPSHOT.jar data-profile.jar
EXPOSE 11013
ENTRYPOINT ["java","-jar","data-profile.jar","application.properties"]

解决方法

可能未安装SSH。

我的示例在这里假设使用的是Ubuntu / Linux映像，因为您当时未指定Dockfile内容。

如果您的容器可以成功启动（忽略应用程序失败的事实），则只需在命令行上运行ssh即可查看（它会为您提供类似于command not found的东西）

要在Docker容器中运行命令，请执行以下操作：由于Ubuntu映像已安装bash，因此您可以这样运行：

docker exec -ti containername bash

内部Docker容器：（我的一个未安装SSH的容器）

  ssh
  ssh: command not found

您继承的基本容器可能未安装该工具。您继承的大多数Docker容器通常都会考虑“最小裸露”，因此自定义Docker镜像需要以其他方式安装。

只需将可以添加到Dockerfile的运行命令添加到Dockerfile中，确保您的用户能够运行这些命令。 （在此示例中，我确保容器映像用户为root） 此示例仅安装ssh-client（这是必需的）

USER root

RUN apt-get update \
  && apt-get install openssh-client

USER mydockercontaineruser

,

我怀疑-您的图片基于Alpine，并且默认情况下Alpine没有安装SSH客户端。

更正了Dockerfile：

FROM openjdk:8-jdk-alpine
RUN apk add --no-cache openssh-client
ADD ./data-profile-provider/build/libs/data-profile-provider-203.2.0-SNAPSHOT.jar data-profile.jar
EXPOSE 11013
ENTRYPOINT ["java","-jar","data-profile.jar","application.properties"]

编辑：我忘记添加Alpine也不具有Bash了。幸运的是，您的应用会使用sh scriptname.sh调用脚本-否则会出现bash: not found错误。