从零在单机上搭建k8s ，kubeflow1.7机器学习平台（国内环境）

分类：k8s作者：king_super123

从零在单机上搭建k8s ，kubeflow1.7机器学习平台

前言

kubeflow是在k8s之上搭建的机器学习平台，涵盖了机器学习的开发、训练、优化、部署、管理阶段。由于我是在单机上进行的，故k8s环境是基于kind来进行快速搭建。Kind 是一个通过使用 docker 容器模拟节点来创建本地 k8s 集群的工具。综上，不难看出，kubeflow依赖于k8s，kind创建的k8s位于docker容器中。

一、基础环境准备

  • centos版本：CentOS Linux release 7.6.1810

  • docker版本：24.0.7

  • kind版本：0.17.0 [注：kind 0.17.0 默认用的是 v.1.25.3 版本 k8s]

  • kubectl版本：v1.25.3 [注：client以及server版本最好一致]

  • kustomize版本：v5.0.3

  • Kubernetes 版本：v1.25.3

二、docker安装

  1. 卸载旧版本（可选）

    yum remove -y docker docker-common docker-selinux docker-engine

  2. 安装依赖的软件包

    yum install -y yum-utils device-mapper-persistent-data lvm2

  3. 国内添加yum源进行加速

    yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

  4. 安装docker的三个组件

    yum install docker-ce docker-ce-cli containerd.io

    • docker-ce 的主要作用是负责构建、运行和管理容器。主要包含 Docker Daemon（服务端）和 Docker Client（客户端）
    • docker-ce-cli 是 Docker 的命令行工具。通过 CLI，用户可以与 Docker 引擎进行交互，运行 Docker 命令。它还提供了一系列命令，用于构建、管理和监视容器。
    • containerd.io提供了容器生命周期管理、镜像传输和存储等核心功能。它还提供了容器生命周期管理、镜像传输和存储等核心功能。

  5. 启动docker及开机自启动

sudo systemctl start docker #手动启动

sudo systemctl enable docker #开机自启动

三、kind安装

kind 只是一个二进制文件，因此下载下来放到 bin 目录即可。

踩坑：根据你的centos版本，kind应创建对应的k8s版本。不然有可能会报错，kind创建cluster的时候会用到对应的cgroup

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.17.0/kind-linux-amd64
chmod +x ./kind
sudo mv ./kind /usr/local/bin/kind

四、kubectl、kustomize安装

Kind 只负责创建集群（会配置好 kubeconfig），后续操作集群的话需要手动安装 kubectl.

# 安装最新的kubectl
curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" chmod +x kubectl sudo mv kubectl /usr/local/bin

# （可选）安装对应版本的kubectl，需要对应版本存在
curl -LO https://dl.k8s.io/release/v1.25.3/bin/linux/arm64/kubectl
sudo mv kubectl /usr/local/bin

# 安装对应版本的kustomize
curl -o install_kustomize.sh "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh"
sh install_kustomize.sh 5.0.3 .
cp kustomize /bin/

五、创建k8s cluster

docker pull kindest/node:v1.25.3

然后创建集群时指定刚才拉下来的镜像 以及创建的yaml文件

kind create cluster --config=kind-config.yaml --image kindest/node:v1.25.3 --name kubeflow -v 5

不出问题的话，几分钟就能创建好kubeflow这个cluster

kind-config.yaml文件

apiVersion: kind.x-k8s.io/v1alpha4
kind: Cluster
nodes:
- role: control-plane
  extraPortMappings:
  - containerPort: 30000 #这里可以指定container对应的端口
    hostPort: 30000 #这里可以指定host对应的端口
    listenAddress: "0.0.0.0" # Optional,defaults to "0.0.0.0"
    protocol: tcp # Optional,defaults to tcp
  kubeadmConfigPatches:
  - |
    kind: InitConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "ingress-ready=true"

常用命令集合

# kind 查看集群数据
kind get clusters
# 删除集群
# syntax：kind delete  cluster --name ${clustername}
kind delete  cluster --name kubeflow

这里需要特别注意，后面是个大坑！

由于 kind 是通过 docker 容器模拟 node 来部署集群的，因此和普通集群有一些差异。主要包括以下几个方面：

  • 文件系统
    • kind cluster 中无法直接访问宿主机上的文件
    • kind cluster 中无法直接使用宿主机上的镜像
  • 网络
    • 比如无法在宿主机直接访问 kind cluster 中的服务

以上问题 kind 都提供了相应的解决方案，比如镜像导入、端口映射、目录映射，详细解决方案可见链接

六、国内私有云搭建kubeflow

6.1 下载官方安装脚本

看官方的配置要求 https://github.com/kubeflow/manifests#prerequisites

# v1.7.0官方脚本文件
wget https://github.com/kubeflow/manifests/archive/refs/tags/v1.7.0.zip

# unzip v1.7.0.zip
unzip v1.7.0.zip mv manifests-1.7.0/ manifests

6.2 国外镜像拉到本地

由于在私有云上无法访问外网，之前找了很多方案都无法解决，故只能找到国内的一个镜像源来代替，再次很感谢Daocloud所做的工作，让国内访问国外镜像便捷了很多。

#cd 到manifests目录
cd manifests
#获取gcr镜像，因为我的网络只无法获取gcr.io,可以根据需求修改
kustomize build example |grep 'image: gcr.io'|awk '$2 != "" { print $2}' |sort -u 
#将需要拉取的的gcr镜像保存到image_list.txt中（上面这条命令输出的就是gcr镜像，手动复制粘贴）
vim image_list.txt
# 运行脚本,脚本在下方给出
sh pull_images.sh
# 查看docker镜像
docker images

pull_images.sh文件如下

registry_prefix="m.daocloud.io/"

# 读取镜像列表
while IFS= read -r image; do
  # 拼接完整的镜像路径
  full_image="${registry_prefix}${image}"

  # 执行 Docker 拉取命令
  docker pull "$full_image"

  # 如果你还需要其他操作，可以在这里添加
done < image_list.txt

这里就是上面第五模块提到的一个坑，因为拉取的镜像是在本地，在cluster中无法直接访问，所以还需要将镜像同步到cluster中

#同步到cluster，批量的话也可以自己写个脚本文件，类似于上面的sh文件。或者自己手动一个个load也行
kind load docker-image m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/webhook:bc1376 --name kubeflow 
#待全部都load到cluster中可以进去容器中查看,跟宿主机上一致就没问题了  
# 查看 node 里的镜像列表
docker exec -it kubeflow-control-plane crictl images

这部分的第二个坑，对于knative-releases部分的，没有对应的tag，需要自己打tag，注意tag一定要正确了，后面kustomization.yaml要用到。

# 打tag，我这里用的就是原本仓库@后面的前六位
# docker tag <IMAGE ID > <REPOSITORY-name:tag-name>
docker tag 28336a010382 m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/activator:c3bbf3

6.3 准备sc、pv、pvc

  1. 准备本地目录

    mkdir -p /data/k8s/istio-authservice /data/k8s/katib-mysql /data/k8s/minio /data/k8s/mysql-pv-claim

修改auth路径权限
sudo chmod -R 777 /data/k8s/istio-authservice/

  2. 编写kubeflow-storage.yaml
    hostPath: path: “/data/k8s/istio-authservice” 改成上面各自创建的目录

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: authservice
  namespace: istio-system
  labels:
    type: local
spec:
  storageClassName: local-storage
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/k8s/istio-authservice"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  namespace: kubeflow
  name: katib-mysql
  labels:
    type: local
spec:
  storageClassName: local-storage
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/k8s/katib-mysql"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: minio
  namespace: kubeflow
  labels:
    type: local
spec:
  storageClassName: local-storage
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/k8s/minio"

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv-claim
  namespace: kubeflow
  labels:
    type: local
spec:
  storageClassName: local-storage
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/k8s/mysql-pv-claim"

执行

# 执行脚本 安装 sc pv pvc
kubectl apply -f kubeflow-storage.yaml
#这里也有一个坑 就是最后执行完要看看绑定的NAME 跟 CLAIM是不是一致的，不一致的话会报错minio-*以及ml-pipeline会报错。需要要删除对应的pv以及pvc，单独创建pv，详情看6.6 第五个坑
#查看创建的的sc pv pvc
kubectl get sc
kubectl get pv -n kubeflow
kubectl get pvc -n kubeflow

6.4 修改安装脚本

在example/kustomization.yaml脚本中添加images参数，这是全局的修改yaml文件，另外我将visualization-server以及frontend这两个pod都修改成了2.0.0-alpha.7，原本脚本拉取的是最新的镜像。

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization

sortOptions:
  order: legacy
  legacySortOptions:
    orderFirst:
    - Namespace
    - ResourceQuota
    - StorageClass
    - CustomResourceDefinition
    - MutatingWebhookConfiguration
    - ServiceAccount
    - PodSecurityPolicy
    - Role
    - ClusterRole
    - RoleBinding
    - ClusterRoleBinding
    - ConfigMap
    - Secret
    - Endpoints
    - Service
    - LimitRange
    - PriorityClass
    - PersistentVolume
    - PersistentVolumeClaim
    - Deployment
    - StatefulSet
    - CronJob
    - PodDisruptionBudget
    orderLast:
    - ValidatingWebhookConfiguration

resources:
# Cert-Manager
- ../common/cert-manager/cert-manager/base
- ../common/cert-manager/kubeflow-issuer/base
# Istio
- ../common/istio-1-16/istio-crds/base
- ../common/istio-1-16/istio-namespace/base
- ../common/istio-1-16/istio-install/base
# OIDC Authservice
- ../common/oidc-authservice/base
# Dex
- ../common/dex/overlays/istio
# KNative
- ../common/knative/knative-serving/overlays/gateways
- ../common/knative/knative-eventing/base
- ../common/istio-1-16/cluster-local-gateway/base
# Kubeflow namespace
- ../common/kubeflow-namespace/base
# Kubeflow Roles
- ../common/kubeflow-roles/base
# Kubeflow Istio Resources
- ../common/istio-1-16/kubeflow-istio-resources/base


# Kubeflow Pipelines
- ../apps/pipeline/upstream/env/cert-manager/platform-agnostic-multi-user
# Katib
- ../apps/katib/upstream/installs/katib-with-kubeflow
# Central Dashboard
- ../apps/centraldashboard/upstream/overlays/kserve
# Admission Webhook
- ../apps/admission-webhook/upstream/overlays/cert-manager
# Jupyter Web App
- ../apps/jupyter/jupyter-web-app/upstream/overlays/istio
# Notebook Controller
- ../apps/jupyter/notebook-controller/upstream/overlays/kubeflow
# Profiles + KFAM
- ../apps/profiles/upstream/overlays/kubeflow
# Volumes Web App
- ../apps/volumes-web-app/upstream/overlays/istio
# Tensorboards Controller
-  ../apps/tensorboard/tensorboard-controller/upstream/overlays/kubeflow
# Tensorboard Web App
-  ../apps/tensorboard/tensorboards-web-app/upstream/overlays/istio
# Training Operator
- ../apps/training-operator/upstream/overlays/kubeflow
# User namespace
- ../common/user-namespace/base

# KServe
- ../contrib/kserve/kserve
- ../contrib/kserve/models-web-app/overlays/kubeflow

images:
 - name: gcr.io/ml-pipeline/metadata-envoy:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/metadata-envoy
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/arrikto/kubeflow/oidc-authservice:e236439
   newName: m.daocloud.io/gcr.io/arrikto/kubeflow/oidc-authservice
   newTag: "e236439"
 - name: gcr.io/knative-releases/knative.dev/eventing/cmd/controller@sha256:33d78536e9b38dbb2ec2952207b48ff8e05acb48e7d28c2305bd0a0f7156198f
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/eventing/cmd/controller
   newTag: "33d785"
 - name: gcr.io/knative-releases/knative.dev/eventing/cmd/mtping@sha256:282b5265e1ef26309b3343038c9b4f172654e06cbee46f6ddffd23ea9ad9a3be
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/eventing/cmd/mtping
   newTag: "282b52"
 - name: gcr.io/knative-releases/knative.dev/eventing/cmd/webhook@sha256:d217ab7e3452a87f8cbb3b45df65c98b18b8be39551e3e960cd49ea44bb415ba
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/eventing/cmd/webhook
   newTag: "d217ab"
 - name: gcr.io/knative-releases/knative.dev/net-istio/cmd/controller@sha256:2b484d982ef1a5d6ff93c46d3e45f51c2605c2e3ed766e20247d1727eb5ce918
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/net-istio/cmd/controller
   newTag: "2b484d"
 - name: gcr.io/knative-releases/knative.dev/net-istio/cmd/webhook@sha256:59b6a46d3b55a03507c76a3afe8a4ee5f1a38f1130fd3d65c9fe57fff583fa8d
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/net-istio/cmd/webhook
   newTag: "59b6a4"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/activator@sha256:c3bbf3a96920048869dcab8e133e00f59855670b8a0bbca3d72ced2f512eb5e1
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/activator
   newTag: "c3bbf3"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/autoscaler@sha256:caae5e34b4cb311ed8551f2778cfca566a77a924a59b775bd516fa8b5e3c1d7f
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/autoscaler
   newTag: "caae5e"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/controller@sha256:38f9557f4d61ec79cc2cdbe76da8df6c6ae5f978a50a2847c22cc61aa240da95
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/controller
   newTag: "38f955"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/domain-mapping@sha256:763d648bf1edee2b4471b0e211dbc53ba2d28f92e4dae28ccd39af7185ef2c96
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/domain-mapping
   newTag: "763d64"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/domain-mapping-webhook@sha256:a4ba0076df2efaca2eed561339e21b3a4ca9d90167befd31de882bff69639470
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/domain-mapping-webhook
   newTag: "a4ba00"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/queue@sha256:505179c0c4892ea4a70e78bc52ac21b03cd7f1a763d2ecc78e7bbaa1ae59c86c
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/queue
   newTag: "505179"
 - name: gcr.io/knative-releases/knative.dev/serving/cmd/webhook@sha256:bc13765ba4895c0fa318a065392d05d0adc0e20415c739e0aacb3f56140bf9ae
   newName: m.daocloud.io/gcr.io/knative-releases/knative.dev/serving/cmd/webhook
   newTag: "bc1376"
 - name: gcr.io/kubebuilder/kube-rbac-proxy:v0.13.1
   newName: m.daocloud.io/gcr.io/kubebuilder/kube-rbac-proxy
   newTag: "v0.13.1"
 - name: gcr.io/kubebuilder/kube-rbac-proxy:v0.8.0
   newName: m.daocloud.io/gcr.io/kubebuilder/kube-rbac-proxy
   newTag: "v0.8.0"
 - name: gcr.io/ml-pipeline/api-server:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/api-server
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/cache-server:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/cache-server
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/frontend:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/frontend
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/frontend
   newName: m.daocloud.io/gcr.io/ml-pipeline/frontend
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/metadata-writer:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/metadata-writer
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/minio:RELEASE.2019-08-14T20-37-41Z-license-compliance
   newName: m.daocloud.io/gcr.io/ml-pipeline/minio	
   newTag: "RELEASE.2019-08-14T20-37-41Z-license-compliance"
 - name: gcr.io/ml-pipeline/mysql:8.0.26
   newName: m.daocloud.io/gcr.io/ml-pipeline/mysql
   newTag: "8.0.26"
 - name: gcr.io/ml-pipeline/persistenceagent:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/persistenceagent
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/scheduledworkflow:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/scheduledworkflow
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/viewer-crd-controller:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/viewer-crd-controller
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/workflow-controller:v3.3.8-license-compliance
   newName: m.daocloud.io/gcr.io/ml-pipeline/workflow-controller
   newTag: "v3.3.8-license-compliance"
 - name: gcr.io/tfx-oss-public/ml_metadata_store_server:1.5.0
   newName: m.daocloud.io/gcr.io/tfx-oss-public/ml_metadata_store_server
   newTag: "1.5.0"
 - name: gcr.io/ml-pipeline/visualization-server
   newName: m.daocloud.io/gcr.io/ml-pipeline/visualization-server
   newTag: "2.0.0-alpha.7"
 - name: gcr.io/ml-pipeline/visualization-server:2.0.0-alpha.7
   newName: m.daocloud.io/gcr.io/ml-pipeline/visualization-server
   newTag: "2.0.0-alpha.7"

在下面每个文件里面添加 storageClassName: local-storage

apps/katib/upstream/components/mysql/pvc.yaml
apps/pipeline/upstream/third-party/minio/base/minio-pvc.yaml
apps/pipeline/upstream/third-party/mysql/base/mysql-pv-claim.yaml
common/oidc-authservice/base/pvc.yaml

在这里插入图片描述

6.5 一键安装

cd manifests
# 执行脚本安装
while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done

执行完之后，需要等待半个小时左右，因为有很多个pod需要拉取。运行下面的命令查看pod状态，须所有pod都为running了就没问题。

kubectl get pods --all-namespaces

在这里插入图片描述

带所有pod都running之后，运行以下命令，访问kubeflow dashboard,如下图所示

kubectl port-forward --address 0.0.0.0 svc/istio-ingressgateway -n istio-system 8080:80

在这里插入图片描述

6.6 踩的坑

  1. 第一个坑：如6.2最后，需要将宿主机上的镜像同步到cluster中，若读者不适用kind创建的就忽略这一步

  2. 第二个坑：对于拉取的@XXX，需要自己重新去打tag，详情见6.2最后部分

  3. 第三个坑：关于kubeflow-user-example-com的，虽然在kustomization.yaml文件中修改了，但这部分还是回去gcr.*去拉取，所以需要手动去修改。

    以上三个坑基本都是报 imagepullbackoff错误，大多数都是因为镜像在国外，国内无法访问。解决办法就是用国内镜像代替，在前面添加m.daocloud.io/

    # 修改pod
kubectl edit pod -n kubeflow-user-example-com  <NAME>
# 找到对应的image目录进行修改，手动添加m.daocloud.io/ 如下图所示

在这里插入图片描述


4. 第四个坑，authservice创建持久卷的权限问题，报错CrashLoopBackOff

# 查看错误日志
kubectl logs authservice-0 -n istio-system
# 查看上一步错误日志
kubectl logs -p authservice-0 -n istio-system
# 查看端口日志
kubectl describe pod authservice-0 -n istio-system

# 错误信息
authservice-0 pod 启动失败：Error opening bolt store: open /var/lib/authservice/data.db: permission denied

修改common/oidc-authservice/base/statefulset.yaml,添加以下内容

      initContainers:
      - name: fix-permission
        image: busybox
        command: ['sh', '-c']
        args: ['chmod -R 777 /var/lib/authservice;']
        volumeMounts:
        - mountPath: /var/lib/authservice
          name: data

或者用命令kubectl edit statefulset -n istio-system authservice直接进行修改，修改之后的yaml文件如图所示

在这里插入图片描述

  1. 第五个坑，minio-*以及ml-pipeline-报错CrashLoopBackOff，主要原因是持久化卷绑定错误，minio-pvc以及mysql-pv-claim绑定的VOLUM弄反了。

    #查看 pv 以及 pvc
kubectl get pvc -n kubeflow
kubectl get pv -n kubeflow

    解决方案

    删除原来的pv以及pvc

    # kubectl delete pvc -n <k8s-name> <pv-name OR pvc-name>
kubectl delete pvc -n kubeflow minio-pvc
kubectl delete pv -n kubeflow minio-pvc
# 结果发现删不掉，hhh。因为k8s存在数据保护机制，需要先接触保护机制。pvc同理
kubectl patch pv <pv-name> -p '{"metadata":{"finalizers":null}}'
kubectl delete pv <pv-name>

    将6.3第二部分的kubeflow-storage.yaml文件，单独拎出来minio以及mysql-pv-claim部分，重新创建

    #重新创建 auth 以及mysql 持久化卷
kubectl apply -f *.yaml

    创建之后，因为这些pod采用的是动态存储，还需要将这些pod删除之后才能够完成

    # 删除pod
# kubectl delete pod -n <k8s-name> <pod-name>
kubectl delete pod -n kubeflow minio

七、总结

折腾了好几天，写下这篇博客记录，希望能帮助需要的人。如果对您有帮助，辛苦点个赞鼓励一下，码字不易，谢谢。

参考链接

  1. 国内镜像同步 https://github.com/DaoCloud/public-image-mirror

  2. kind安装k8s https://www.lixueduan.com/posts/kubernetes/15-kind-kubernetes-in-docker

  3. kubeflow安装1https://blog.csdn.net/weixin_40548136/article/details/131481520

  4. kubeflow安装2https://blog.csdn.net/yanqianglifei/article/details/128432784

原文地址：https://blog.csdn.net/king_super123/article/details/134671914

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

【博客694】k8s kubelet 状态更新机制
文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的，这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟，一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下，节点上的 Pod 会被重新调度到其他节点上去，但是有的时候我们会发现节点 Down 掉以后，Pod 并不会立即触发重新调度，这实际上就是和 Kubelet 的状态更新机制密切相关的，Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
滴滴弹性云基于 K8S 的调度实践
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
NUMA架构在kubernetes中的应用
文章浏览阅读897次。对于cpu来说，这种分配方式并不会有太大问题，因为cpu可以灵活调度，numa调度时我们只计算绑定了numa cpu的pod是可以接受的，但是对于内存来说，numa node上申请了的内存无法做到随时迁移，这就会导致调度器视角numa node的mem资源足够，但是等到pod真正使用时，由于没有绑定numa node的pod申请的内存，导致numa node的mem资源不足，造成swap中断或者远端内存申请，这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
k8s中资源对象有哪些及它们如何协作
文章浏览阅读796次，点赞17次，收藏15次。只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service， 它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。
Kubernetes 部署DolphinScheduler 创建租户失败
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了，但是无法创建资源文件，也就是无法上传文件，可能 dolphinscheduler 团队就想着将文件上传到 hdfs，暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候，即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
文章浏览阅读2.7k次，点赞2次，收藏13次。公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
kubernetes新版本使用kubeadm init的超全问题解决和建议
文章浏览阅读1.8w次，点赞14次，收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
Kubernetes(K8S)集群部署
文章浏览阅读1.1k次，点赞2次，收藏7次。具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）_部署k8s集群
k8s从初识到上天系列第二篇：kubernetes的组件和架构
文章浏览阅读863次，点赞23次，收藏16次。当部署完 Kubernetes，便拥有了一个完整的集群。一组工作机器，称为节点， 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ，而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本：集群：cluster，多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起，称之为该软件(服务)的集群，当然集群中的节点身份地位是不一样的。k8s集群也是如此，他也是多个节点组成。
Rancher管理K8S
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。Rancher 1.0版本在2016年就已发布，时至今日，Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
kubeadm搭建k8s高可用集群（keepalived+nginx+3master）
文章浏览阅读742次，点赞2次，收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
文章浏览阅读1.9k次，点赞21次，收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；_euler 服务器搭建
tkestack/gpu-manager在k8s1.23版本之后的使用
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
k8s存储卷-动态PV
文章浏览阅读1k次，点赞18次，收藏16次。SelfLink：API的资源对象之一，表示资源对象在集群当中自身的一个连结，self-Link是一个唯一的标识号，可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置，在provisioner当中定义好环境变量，传给容器，storageclass的名称，NFS服务器的地址，NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中，监听k8s集群当中PV的请求，然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
K8S证书过期解决办法之替换证书
文章浏览阅读6.3k次，点赞2次，收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队
文章浏览阅读1k次。KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据
K8S exporter应用
文章浏览阅读888次。exporter对于云服务的监控还是很不完美，毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中，但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别，收敛配置一下！_command: - "-redis.password-file=/redis_passwd.json
Kubernetes 默认的4种命名空间
文章浏览阅读1k次。可以在此处（https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns）和此处（https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service）找到更多的详细信息。-or-ipvs/）和此处（https://arthurchiao.art/blog/cracking-k8s-node-proxy/）。_k8s默认命名空间
【C站首发】全网最新Kubernetes（K8s）1.28版本探秘及部署 基于Containerd容器运行时（100年证书kubeadm）
文章浏览阅读4.9k次，点赞11次，收藏32次。如果运行runc命令时提示：runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory，则表明runc没有找到libseccomp，需要检查libseccomp是否安装，本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
【K8S系列】深入解析k8s网络插件—Canal
文章浏览阅读3.6w次，点赞118次，收藏144次。Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。_k8s canal
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot