（一）Mac M1(ARM) 使用Vmware Fusion从零搭建k8s集群

分类：k8s作者：青衫落拓客

电脑：MacBook Pro M1(ARM架构)
虚拟机软件：Vmware Fusion 13
LInux镜像: CentOS7.X-aarch64
⚠️注意：因为本机是ARM架构，下文中多处镜像源后缀有aarch64，x86架构的请自行替换⚠️

学习参考来源B站

一、VMware安装和网络适配器配置

自己搞，略
Mac 如何干净的卸载 VMware Fusion
VMware Fusion下修改vmnet8网络和添加vmnet网络

二、初始环境搭建

安装要求

  • 三台服务器，操作系统为CentOS7.X-aarch64
  • 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
  • 集群中所有机器之间网络互通
  • 可以访问外网，需要拉取镜像(或者提前准备好镜像)
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 设置节点主机名（三台机器分别执行）
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.100.100 k8s-master
192.168.100.101 k8s-node1
192.168.100.102 k8s-node2
EOF


# 关闭 SELinux，否则 kubelet 挂载目录时可能报错Permission denied
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap分区，否则kubelet会启动失败，也可以设置kubelet启动参数 --fail-swap-on为false关闭swap检查
# swapoff -a  # 临时
#sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久
# 关闭完swap后，一定要重启一下虚拟机！！！

# 问题：妈勒个巴子，关闭swap分区后 配置文件成了只读文件,无法写入,ssh也连接不上了 (和 1核2G 有关系吗)
# 解决：不要直接使用sed -ri 's/.*swap.*/#&/' /etc/fstab，重启后vi进/etc/fstab发现内容为空，全没了，直接vi进去注释掉swap行，重启完事
swapoff -a  # 临时关闭swap分区,重启失效
 # 永久关闭swap分区
vi /etc/fstab  注释掉swap行
注释掉swap行 /dev/mapper/cl-swap     swap                   swap   defaults       0 0
#关闭完swap后，重启一下虚拟机！！！
free -h # 查看swap分区内存占用率，检查swap是否已关闭

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

k8s node为什么需要关闭selinux与swap

三、搭建k8s集群

  1. 安装Docker
# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2

# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# Step 3: 更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce

# Step 4: 开启Docker服务
sudo service docker start
systemctl enable docker


# 注意：
# 官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过以下方式开启。同理可以开启各种测试版本等。
# vim /etc/yum.repos.d/docker-ee.repo
#   将[docker-ce-test]下方的enabled=0修改为enabled=1
#
# 安装指定版本的Docker-CE:
# Step 1: 查找Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
#   Loading mirror speeds from cached hostfile
#   Loaded plugins: branch,fastestmirror,langpacks
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
#   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
#   Available Packages


# Step 5: 配置docker的阿里镜像源
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["此处修改成你自己的加速 url"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
  1. 安装kubelet、kubeadm、kubectl组件
# Step 1: 添加k8s的阿里云YUM源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-aarch64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum clean all #清除缓存
yum makecache #重新生成缓存

# Step 2: 安装 kubeadm、kubelet、kubectl
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
# 开启自启动
systemctl enable kubelet

# Step 3: 配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json，加入以下内容，不然后面初始化会报异常
"exec-opts": ["native.cgroupdriver=systemd"]
# 重启 docker
systemctl daemon-reload
systemctl restart docker
  1. 初始化Master并加入Node节点
#================在k8s-master上执行==============
# Step 1: 初始化master节点
kubeadm init \
      --apiserver-advertise-address=192.168.100.100 \
      --image-repository registry.aliyuncs.com/google_containers \
      --kubernetes-version v1.23.6 \
      --service-cidr=10.96.0.0/12 \
      --pod-network-cidr=10.244.0.0/16

# Step 2: 安装成功后，复制如下配置并执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# Step 3: 查看是否初始化成功
kubectl get nodes


# ============分别在 k8s-node1 和 k8s-node2 执行================
# 下方命令可以在 k8s master 控制台初始化成功后复制 join 命令
# Step 1: 将node节点加入master
kubeadm join 192.168.100.100:6443 --token j7mpyq.z1py5hwl6ke9os02 \
        --discovery-token-ca-cert-hash sha256:57400b47ee911242d9c11f7273d1211cda0dc77994155217ad4248a5719c29a9 

# Step 2: 查看是否加入成功(master)
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES                  AGE   VERSION
k8s-master   NotReady   control-plane,master   76s   v1.23.6
k8s-node1    NotReady   <none>                 47s   v1.23.6
k8s-node2    NotReady   <none>                 45s   v1.23.6


# ======================备注===========================
# 1.如果初始化的token不小心清空了，可以通过如下命令获取或者重新生成token
# 如果token已经过期，重新生成token
kubeadm token create
# 如果token没有过期，可以通过如下命令获取
kubeadm token list
# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'

# 2.如果没有openssl，用下面的命令安装
yum install openssl openssl-devel -y
openssl version

# 3.kubeadm安装过程中发生异常
#如果kubeadm安装过程中发生异常，使用重置命令 kubeadm reset，重新使用kubeadm init进行初始化
kubeadm reset
# 来源：[k8s节点加入集群异常解决](https://blog.csdn.net/lj779323436/article/details/123605588?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169141150116800186580108%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=169141150116800186580108&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-123605588-null-null.142%5Ev92%5Econtrol&utm_term=k8s%20%E8%AF%A5%E8%8A%82%E7%82%B9%E6%9C%AA%E5%8A%A0%E5%85%A5%E9%9B%86%E7%BE%A4&spm=1018.2226.3001.4187)
  1. 部署 CNI 网络插件
#==================为什么要安装CNI 网络插件？==================

# 检查节点状态，发现都是 NotReady没有准备好，什么原因呢
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES                  AGE   VERSION
k8s-master   NotReady   control-plane,master   76s   v1.23.6
k8s-node1    NotReady   <none>                 47s   v1.23.6
k8s-node2    NotReady   <none>                 45s   v1.23.6

# 检查组件状态，发现都健康
[root@k8s-master ~]# kubectl get componentstatus   #简写命令kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
scheduler            Healthy   ok                              
controller-manager   Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}   

# 指定命名空间查询pods核心组件，发现coredns前两个没有运行
[root@k8s-master ~]# kubectl get pods -n kube-system
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-6d8c4cb4d-jdd8g              0/1     Pending   0          35m
coredns-6d8c4cb4d-mrvvx              0/1     Pending   0          35m
etcd-k8s-master                      1/1     Running   1          35m
kube-apiserver-k8s-master            1/1     Running   1          35m
kube-controller-manager-k8s-master   1/1     Running   1          35m
kube-proxy-lhx86                     1/1     Running   0          35m
kube-proxy-px46l                     1/1     Running   0          35m
kube-proxy-tnn48                     1/1     Running   0          35m
kube-scheduler-k8s-master            1/1     Running   1          35m
# 原因：因为还未安装网络相关的服务，所以coredns服务是不运行的。


# ======================安装网络服务(master)=====================
# Step 1: 下载 calico 配置文件，可能会网络超时
mkdir /opt/k8s
curl https://docs.projectcalico.org/manifests/calico.yaml -O
# 修改 calico.yaml 文件中的 CALICO_IPV4POOL_CIDR 配置，修改为与初始化的 cidr 相同
# 修改 IP_AUTODETECTION_METHOD 下的网卡名称
# ！！以上两个修改可以不用改！！因为master初始化时，指定了--pod-network-cidr=10.244.0.0/16，可以不用修改这里的配置，calico.yaml中默认是注释的CALICO_IPV4POOL_CIDR

# Step 2: 删除镜像 <xmind-autolink>docker.io</xmind-autolink>/ 前缀，避免下载过慢导致失败
grep image calico.yaml
sed -i 's#docker.io/##g' calico.yaml

# Step 3: 构建calico
kubectl apply -f calico.yaml

# Step 4: 查询pod状态
[root@k8s-master k8s]# kubectl get pods -n kube-system
NAME                                       READY   STATUS    RESTARTS   AGE
calico-kube-controllers-74dbdc644f-zjgcp   1/1     Running   0          14m
calico-node-69db2                          1/1     Running   0          14m
calico-node-kb77c                          1/1     Running   0          14m
calico-node-m68tm                          1/1     Running   0          14m
coredns-6d8c4cb4d-jdd8g                    1/1     Running   0          132m
coredns-6d8c4cb4d-mrvvx                    1/1     Running   0          132m
etcd-k8s-master                            1/1     Running   1          133m
kube-apiserver-k8s-master                  1/1     Running   1          133m
kube-controller-manager-k8s-master         1/1     Running   1          133m
kube-proxy-lhx86                           1/1     Running   0          132m
kube-proxy-px46l                           1/1     Running   0          132m
kube-proxy-tnn48                           1/1     Running   0          132m
kube-scheduler-k8s-master                  1/1     Running   1          133m
# 容器构建时间比较长，多等一会儿，多查几次，最终全部为： 1/1     Running
# 结果：coredns服务已运行

# Step 5: 检查节点状态
[root@k8s-master k8s]# kubectl get nodes
NAME         STATUS   ROLES                  AGE    VERSION
k8s-master   Ready    control-plane,master   136m   v1.23.6
k8s-node1    Ready    <none>                 136m   v1.23.6
k8s-node2    Ready    <none>                 136m   v1.23.6
# 结果：节点状态都是 Ready准备好了

# 至此，网络服务安装成功
  1. 测试 kubernetes 集群
# 创建一个nginx,用来测试k8s集群是否搭建成功并可用
# 创建部署
kubectl create deployment nginx --image=nginx
# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看 pod 以及服务信息
kubectl get pod,svc
# 测试ip端口是否能访问nginx
curl 192.168.100.100:30658
http://192.168.100.100:30658
http://192.168.100.101:30658
http://192.168.100.102:30658

四、命令行工具 kubectl

  1. 在任意节点使用 kubectl
# 1. 将 master 节点中 /etc/kubernetes/admin.conf 拷贝到需要运行的服务器的 /etc/kubernetes 目录中
scp /etc/kubernetes/admin.conf root@k8s-node1:/etc/kubernetes

# 2. 在对应的服务器上配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile
  1. 常用kubectl命令
    kubectl命令官方文档

下一篇：（二）k8s实战-深入Pod详解

原文地址：https://blog.csdn.net/bugle_call/article/details/132123333

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

【博客694】k8s kubelet 状态更新机制
文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的，这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟，一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下，节点上的 Pod 会被重新调度到其他节点上去，但是有的时候我们会发现节点 Down 掉以后，Pod 并不会立即触发重新调度，这实际上就是和 Kubelet 的状态更新机制密切相关的，Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
滴滴弹性云基于 K8S 的调度实践
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
NUMA架构在kubernetes中的应用
文章浏览阅读897次。对于cpu来说，这种分配方式并不会有太大问题，因为cpu可以灵活调度，numa调度时我们只计算绑定了numa cpu的pod是可以接受的，但是对于内存来说，numa node上申请了的内存无法做到随时迁移，这就会导致调度器视角numa node的mem资源足够，但是等到pod真正使用时，由于没有绑定numa node的pod申请的内存，导致numa node的mem资源不足，造成swap中断或者远端内存申请，这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
k8s中资源对象有哪些及它们如何协作
文章浏览阅读796次，点赞17次，收藏15次。只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service， 它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。
Kubernetes 部署DolphinScheduler 创建租户失败
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了，但是无法创建资源文件，也就是无法上传文件，可能 dolphinscheduler 团队就想着将文件上传到 hdfs，暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候，即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
文章浏览阅读2.7k次，点赞2次，收藏13次。公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
kubernetes新版本使用kubeadm init的超全问题解决和建议
文章浏览阅读1.8w次，点赞14次，收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
Kubernetes(K8S)集群部署
文章浏览阅读1.1k次，点赞2次，收藏7次。具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）_部署k8s集群
k8s从初识到上天系列第二篇：kubernetes的组件和架构
文章浏览阅读863次，点赞23次，收藏16次。当部署完 Kubernetes，便拥有了一个完整的集群。一组工作机器，称为节点， 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ，而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本：集群：cluster，多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起，称之为该软件(服务)的集群，当然集群中的节点身份地位是不一样的。k8s集群也是如此，他也是多个节点组成。
Rancher管理K8S
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。Rancher 1.0版本在2016年就已发布，时至今日，Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
kubeadm搭建k8s高可用集群（keepalived+nginx+3master）
文章浏览阅读742次，点赞2次，收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
文章浏览阅读1.9k次，点赞21次，收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；_euler 服务器搭建
tkestack/gpu-manager在k8s1.23版本之后的使用
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
k8s存储卷-动态PV
文章浏览阅读1k次，点赞18次，收藏16次。SelfLink：API的资源对象之一，表示资源对象在集群当中自身的一个连结，self-Link是一个唯一的标识号，可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置，在provisioner当中定义好环境变量，传给容器，storageclass的名称，NFS服务器的地址，NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中，监听k8s集群当中PV的请求，然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
K8S证书过期解决办法之替换证书
文章浏览阅读6.3k次，点赞2次，收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队
文章浏览阅读1k次。KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据
K8S exporter应用
文章浏览阅读888次。exporter对于云服务的监控还是很不完美，毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中，但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别，收敛配置一下！_command: - "-redis.password-file=/redis_passwd.json
Kubernetes 默认的4种命名空间
文章浏览阅读1k次。可以在此处（https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns）和此处（https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service）找到更多的详细信息。-or-ipvs/）和此处（https://arthurchiao.art/blog/cracking-k8s-node-proxy/）。_k8s默认命名空间
【C站首发】全网最新Kubernetes（K8s）1.28版本探秘及部署 基于Containerd容器运行时（100年证书kubeadm）
文章浏览阅读4.9k次，点赞11次，收藏32次。如果运行runc命令时提示：runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory，则表明runc没有找到libseccomp，需要检查libseccomp是否安装，本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
【K8S系列】深入解析k8s网络插件—Canal
文章浏览阅读3.6w次，点赞118次，收藏144次。Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。_k8s canal
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot