如何解决如何在Kubernetes集群中停止Spark Thrift Thrift服务器以清理执行程序
我想在kubernetes部署中停止spark thrift服务器。 Spark节俭服务器从带有args的deploy.yaml命令运行
command: ["/bin/bash","-c","--"]
args: ["/opt/spark/sbin/start-thriftserver.sh \
--name thriftserver \
--master k8s://https://kubernetes:443 \
--conf spark.kubernetes.container.image=AWS-IMAGE";
并基于AWS托管的docker映像构建而成,该镜像由以下内容构建:
FROM gcr.io/spark-operator/spark:v2.4.5
如果我使用kubectl exec -it example-pod-1234 /bin/bash
进入豆荚
并运行/opt/spark/sbin/stop-thriftserver.sh
返回消息为no org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 to stop
这个想法是停止旧服务器,以便在删除部署时清理执行程序容器。
其他问题:
当kubernetes创建spark-thriftserver时,用户注册了什么?我如何检查/确定用户是什么?
如果我没有在部署中手动声明执行者容器,我将如何手动将执行者的ownerReference设置为指向驱动程序?
如何获取驱动程序ID?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。