2022-05-07 designs_集群扩缩容设计方案

一、背景介绍

用户置备的基础设施场景（UPI）通过bootstrap阶段的安装部署流程后，已经具备了一个完整的ccos集群。集群规划可能是3个master节点0个worker节点，或者3个master节点和大于等于2个worker节点。
若需要将新的worker节点加入现有集群，或者将现有集群中的worker节点从集群中移除，需要提供相应的扩展集群和移除worker节点方案。

本文针对如何进行CCOS集群扩缩容进行方案设计说明

二、如何扩展节点

扩展worker节点是将一台全新的用户置备服务器，并且已经完成操作系统的安装，加入到现有集群中，设计的操作流程如下图所示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nKOL7x1q-1651905020486)(assets/process.png)]

##1.系统安装
此步骤安装操作系统，按照操作系统安装流程安装即可，最重要的是获取到节点的IP、user、password或者sshkey信息。

##2.录入节点
操作系统安装完成并获取到节点连接信息后，可在安装服务ccos_installer_operator录入节点信息。
录入节点在后台的操作设计是：安装部署工具将worker节点安装程序 bootWorker远程拷贝到节点操作系统指定目录。

##3.安装节点
安装服务ccos_installer_operator远程执行bootWorker，开始节点的安装流程。

bootWorker在节点上作为agent程序，实现将新节点加入到已有集群，扩展节点和全新安装worker节点本质上业务是一致的，业务流程如下图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eaXvtCa6-1651905020488)(assets/exec.png)]
扩展节点流程和全新安装集群时，worker节点处理流程基本一致，存在一些依赖项设计如下。

获取二进制程序：安装时，在bootstrap节点有一个临时nginx服务，worker节点从nginx服务下载。
扩容时设计bootWorker从运行在master节点的安装服务下载所需的二进制文件，包括：“oc”、“hyperkube”、“kubelet”、“kube-apiserver”、“kube-controller-manager”、“kube-scheduler”、“ignition”、“coreos-installer”。

获取rpm包：安装时也是从临时nginx服务下载所需的rpm包，共73个rpm包。扩容时设计也从master节点的安装服务下载。

获取systemd服务脚本：systemd服务脚本主要是将安装中的一些操作脚本做成systemd服务，另外还有kubelet等服务。全新安装时从临时nginx服务下载所有的systemd服务脚本。扩容时，依然设计从master节点的安装服务下载。

获取ignition配置文件：只需要知道master VIP即可从machine config server下载配置文件到worker节点，ignition读取配置，并将配置应用到机器上，然后执行后续流程。

安装流程主要分为如图所示的6个步骤，设计在每个步骤执行中，均向master节点的安装服务上报执行状态，失败时报告失败原因，更友好的向用户展示节点扩容状态和进度。

##4.证书处理
前面步骤执行完成，kubelet服务首次启动后，在集群内应该能看到kubelet发起的CSR请求

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PoTdZ6h1-1651905020489)(assets/clientcsr.png)]
批准客户端csr后，kubelet发起服务端CSR请求

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3MeukTp4-1651905020490)(assets/servercsr.png)]
批准服务端CSR后，节点就正确加入集群中。

证书的批准操作设计有两种待选方案：

a.不处理，交由集群管理员去判断处理是否签发证书CSR，允许节点加入集群。好处是管理员能清晰知晓集群管理范围，不足之处时手动处理带来大量人工操作。

b.建立cronjob，定时批准证书，自动处理所有的证书签发工作。参考https://access.redhat.com/solutions/6270481

##5.节点加入集群
完成上述步骤后，节点就正确加入已有集群中，完成集群节点扩容操作。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mKuku7Iw-1651905020490)(assets/nodeready.png)]

三、如何移除节点

节点移除在集群控制面完成，要从用户置备的基础设施场景删除节点，必须先将节点排空，然后在删除之前将其标记为“unschedulable”。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6qIrCBUO-1651905020491)(assets/delete.png)]

对应的操作分别是：

oc adm cordon <node_name>
oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets
oc delete node <node_name>

设计直接在UI操作后，在master节点的安装服务实现移除逻辑操作

注意：节点移除后，如果要重新接入集群，需要参考如何扩展节点流程，从装机开始重新执行！

四、产品化依赖设计

节点扩缩容在设计时，安装程序bootWorker与master节点的安装服务交互，依赖整个安装部署工具产品化的设计。产品交互流程如下图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1PDzhBto-1651905020492)(assets/interaction.png)]

设计用户只需要两个操作即可扩展worker节点：

a.通过可视化界面录入节点信息add node info;

b.通过点击安装节点事件，触发安装流程;

如图所示，设计第一步是用户通过UI，录入扩容节点的信息，保存后，在后台安装服务连接到扩容节点，远程拷贝安装程序bootWorker到扩容节点，参考2.录入节点流程；

设计第二步用户通过UI选中扩容节点，点击安装节点,在后台安装服务连接到扩容节点，发送启动指令和所依赖的参数（例如master VIP），触发bootWorker运行。
bootWorker运行即执行3.安装节点所述六个步骤；