velero实现对k8s数据备份与恢复

分类：k8s作者：顺个老头

一、velero简介

velero是一个有Vmware开源的工具，是一个云原生的灾难恢复和迁移工具，采用Go语言编写，用于安全的备份、恢复和迁移Kubernetes集群资源数据。
velero官网：https://velero.io/

1.1、velero的特性：

备份可以按集群资源的子集，按命名空间、资源类型标签选择器进行过滤，从而为备份和恢复的内容提供高度的灵活性
支持复制当前 Kubernetes 集群的资源到其它 Kubernetes 集群
通过聚合 API 服务器公开的资源可以轻松备份和恢复，即使它们存储在单独的 etcd 数据库中

Velero 可以帮助你：
对集群进行备份并在丢失的情况下进行恢复。
将集群资源迁移到其他集群。
将生产集群复制到开发和测试集群。

1.2、velero的组件：

velero由一个客户端和一个服务端组成
客户端：运行在本地的命令行工具，只要配置好kubectl和kubeconfig认证文件就可使用，非常简单
服务端：运行在Kubernetes集群之上，负责执行具体的备份和恢复操作

整体架构：

支持的对象存储：AWS S3 以及兼容 S3 的存储，比如：ceph存储、Google Cloud 存储 、Aliyun OSS 存储

1.3、工作流程：

基本工作原理：

Velero client 调用Kubernetes API服务器以创建Backup。
BackupController检测到新的backup，并验证。
BackupController开始backup，通过请求ApiServer获取资源来收集数据以进行备份。
BackupController将要备份的数据上传到一个对象存储服务器，如AMS S3。
默认情况下，velero backup create会生产每一个PV的磁盘快照。您可以通过指定其他参数来调整快照。运行velero backup create --help以查看可用的参数。可以使用选项禁用快照--snapshot-volumes=false。

二、minio环境准备

minio在这里是用来保存velero的备份数据，如果你有其它对象存储服务，也可以用它们来替换minio。
minio是一款高性能、分布式的对象存储系统，采用Go语言实现，兼容Amazon S3接口，客户端与存储服务器之间采用http/https通信协议。
minio官网：https://min.io/
minio中文网站：http://www.minio.org.cn/
minio支持单机部署和分布式部署，这里选择容器方式单机部署。

2.1、安装minio(安装与10.60.230.192服务器上)：(要先安装好docker环境)

root@harbor01:~# mkdir -p /data/minio

root@harbor01:~# docker pull minio/minio:RELEASE.2023-04-13T03-08-07Z

RELEASE.2023-04-13T03-08-07Z: Pulling from minio/minio

a9e23b64ace0: Pull complete

38b71301a1d9: Pull complete

160197c068e7: Pull complete

ff6e4f6f8c20: Pull complete

e95e0f7339c1: Pull complete

17f004107a95: Pull complete

cb8e56fa8e8a: Pull complete

Digest: sha256:e7983a527e9e5e7158c3644ef6cdc51dca453819f95facc25eb110478dd57b43

Status: Downloaded newer image for minio/minio:RELEASE.2023-04-13T03-08-07Z

docker.io/minio/minio:RELEASE.2023-04-13T03-08-07Z

# 创建minio容器,如果不指定,则默认用户名与密码为 minioadmin/minioadmin,可以通过环境变量自定义

root@harbor01:~# docker run --name minio \

> -p 9000:9000 \

> -p 9999:9999 \

> -d --restart=always \

> -e "MINIO_ROOT_USER=minio账号" \

> -e "MINIO_ROOT_PASSWORD=minio密码" \

> -v /data/minio/data:/data \

> minio/minio:RELEASE.2022-04-12T06-55-35Z server /data \

> --console-address '0.0.0.0:9999'

0a7f1752b59b9285df518bb048ab3b12bbd3829fbc51d87c21db5478aa6e1f59

root@harbor01:~# docker ps

CONTAINER ID        IMAGE                                      COMMAND                  CRE     STATUS                  PORTS                                            NAMES

0a7f1752b59b     minio/minio:RELEASE.2023-04-13T03-08-07Z   "/usr/bin/docker-ent…"   26      Up 11 seconds           0.0.0.0:9000->9000/tcp, 0.0.0.0:9999->9999/tcp   minio

2.2、访问minio并创建bucket

浏览器访问：http://10.60.10.10:9000

三、部署velero

3.1、下载velero

wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.2/velero-v1.10.2-linux-amd64.tar.gz

tar -xvf velero-v1.10.2-linux-amd64.tar.gz

cp velero /usr/local/bin/

3.2、配置velero认证环境

# 认证文件

root@ansible:/data/velero# cat velero-auth.txt

[default]

aws_access_key_id = admin

aws_secret_access_key = 12345678

3.3、部署velero

创建namespace:

kubectl create ns velero-system

执行安装：

velero --kubeconfig /data/k8s/cluster/kube_config_rancher-cluster_dcb.yml \

install \

--provider aws \

--plugins velero/velero-plugin-for-aws:v1.3.1 \

--bucket velerodata \

--secret-file /data/velero/velero-auth.txt \

--use-volume-snapshots=false \

--namespace velero-system \

--backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://10.10.10.10:9000/

验证部署：

kubectl get pod -n velero-system

kubectl logs velero-578458fb6-9n7h9 -n velero --tail=1000 -f

确保正常连接至minio

使用velero进行备份

[root@master1 ~]# DATE=`date +%Y%m%d%H%M%S`

[root@master1 ~]# velero backup create default-backup-${DATE} --include-cluster-resources=tru --include-namespaces kube-system --kubeconfig=/root/.kube/config --namespace velero-system

Backup request "default-backup-20230316213429" submitted successfully.

Run `velero backup describe default-backup-20230316213429` or `velero backup logs default-bacup-20230316213429` for more details.

[root@master1 ~]# velero backup create myserver-backup-${DATE} --include-cluster-resources=tre --include-namespaces myserver --kubeconfig=/root/.kube/config --namespace velero-system

Backup request "myserver-backup-20230316213429" submitted successfully.

Run `velero backup describe myserver-backup-20230316213429` or `velero backup logs myserver-bckup-20230316213429` for more details.

查看备份

查看minio

从备份文件恢复

[root@master1 velero]# velero restore create --from-backup test-ns-backup-20230316213943 --wait --kubeconfig=/root/.kube/config --namespace velero-system           

Restore request "test-ns-backup-20230316213943-20230316220740" submitted successfully.

Waiting for restore to complete. You may safely press ctrl-c to stop waiting - your restore will continue in the background.

..................

Restore completed with status: Completed. You may check for more information using the commands `velero restore describe test-ns-backup-20230316213943-20230316220740` and `velero restore logs test-ns-backup-20230316213943-20230316220740`.

[root@master1 velero]# kubectl get pod

NAME    READY   STATUS    RESTARTS        AGE

test    1/1     Running   0               22s

test2   1/1     Running   23 (134m ago)   116d

test3   1/1     Running   23 (134m ago)   116d

四、Velero常用命令

备份Backup

velero backup get ：查看已备份的

velero backup create <backupname>：创建一个backup包含所有资源

velero backup create <backupname> --include-namespaces ns1,ns2：为ns1，ns2命名空间下的资源备份

velero backup create <backupname> --exclude-namespaces ns1,ns2：排除掉ns1，ns2的命名空间，创建备份

velero backup create <backupname> --include-resources resource1,resource2：为指定资源备份

velero backup create --exclude-resources resource1,resource2：不备份指定资源

--storage-location <localpath>：将创建的备份保存到本地路径下

-l,--selector：通过指定label来匹配要back up的资源

  • Create a backup containing all resources:

velero backup create {{backup_name}}

  • List all backups:

velero backup get

  • Delete a backup:

velero backup delete {{backup_name}}

  • Create a weekly backup,each living for 90 days (2160 hours):

velero schedule create {{schedule_name}} --schedules="{{@every 7d}}" --ttl {{2160h0m0s}}

  • Create a restore from the latest successful backup triggered by specific schedule:

velero restore create --from-schedule {{schedule_name}}

除此以外还包括：delete、describe、logs

恢复Restore

velero restore get：查看已经restore的资源

velero restore create restore-1 --from-backup backup-1：从backup-1恢复

velero restore create --from-backup backup-2 --include-resources persistentvolumeclaims,persistentvolumes：仅恢复指定资源，同样使用--exclude-resources：不恢复某资源

velero --kubeconfig=./kube_config_cluster_examination.yml restore create --from-backup dcb-k8s-all-backup-20230421145821 --include-namespaces 15-minutes --wait --namespace velero-system

velero restore create --from-schedule schedule-1：从创建的schedule恢复

除此以外还包括：delete、describe、logs

五、Schedule定时备份

Schedule是针对backup的，是独立于backup之外的一种资源，但他本身也是一个backup只不过是具有了定时的功能，符合Cron规则。

velero create schedule NAME --schedule="0 */6 * * *"：每6小时自动备份一次

velero --kubeconfig=./kube_config_cluster_examination.yml schedule create k8s-all --schedule="0 0 * * *" --ttl 24h --namespace velero-system：凌晨12点定时备份集群所有资源，备份保留24H

velero schedule create default-exclude-rancher-daily --schedule="@every 24h" --include-namespaces web：因为schedule也是一种backup，所以创建backup指定的参数这里也都可以使用

velero --kubeconfig=./kube_config_cluster_examination.yml get schedule  --namespace velero-system

velero --kubeconfig=./kube_config_cluster_examination.yml delete schedule k8s-all  --namespace velero-system

除此以外还包括：delete、describe、logs

velero --kubeconfig=./kube_config_cluster_examination.yml get schedule  --namespace velero-system

velero --kubeconfig=./kube_config_cluster_examination.yml delete schedule k8s-all  --namespace velero-system

注意事项

  • 备份使用volumes 的Pod,需要给Pod加上注解
  • 备份时禁用快照，可指定参数--snapshot-volumes=false
  • 各云厂商Volumes快照插件: https://velero.io/plugins/
  • 使用 Velero 跨集群迁移资源,确保如下检查工作
    1. 确保镜像资源在迁移后可以正常拉取。
    2. 确保两个集群的 K8S 版本的 API 兼容，最好是相同版本
    3. 绑定集群外部资源的无法迁移,例如 LoadBalancer 类型的service,创建备份建议忽略

原文地址：https://blog.csdn.net/weixin_42188217/article/details/130501184

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

【博客694】k8s kubelet 状态更新机制
文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的，这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟，一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下，节点上的 Pod 会被重新调度到其他节点上去，但是有的时候我们会发现节点 Down 掉以后，Pod 并不会立即触发重新调度，这实际上就是和 Kubelet 的状态更新机制密切相关的，Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
滴滴弹性云基于 K8S 的调度实践
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
NUMA架构在kubernetes中的应用
文章浏览阅读897次。对于cpu来说，这种分配方式并不会有太大问题，因为cpu可以灵活调度，numa调度时我们只计算绑定了numa cpu的pod是可以接受的，但是对于内存来说，numa node上申请了的内存无法做到随时迁移，这就会导致调度器视角numa node的mem资源足够，但是等到pod真正使用时，由于没有绑定numa node的pod申请的内存，导致numa node的mem资源不足，造成swap中断或者远端内存申请，这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
k8s中资源对象有哪些及它们如何协作
文章浏览阅读796次，点赞17次，收藏15次。只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service， 它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。
Kubernetes 部署DolphinScheduler 创建租户失败
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了，但是无法创建资源文件，也就是无法上传文件，可能 dolphinscheduler 团队就想着将文件上传到 hdfs，暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候，即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
文章浏览阅读2.7k次，点赞2次，收藏13次。公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
kubernetes新版本使用kubeadm init的超全问题解决和建议
文章浏览阅读1.8w次，点赞14次，收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
Kubernetes(K8S)集群部署
文章浏览阅读1.1k次，点赞2次，收藏7次。具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）_部署k8s集群
k8s从初识到上天系列第二篇：kubernetes的组件和架构
文章浏览阅读863次，点赞23次，收藏16次。当部署完 Kubernetes，便拥有了一个完整的集群。一组工作机器，称为节点， 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ，而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本：集群：cluster，多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起，称之为该软件(服务)的集群，当然集群中的节点身份地位是不一样的。k8s集群也是如此，他也是多个节点组成。
Rancher管理K8S
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。Rancher 1.0版本在2016年就已发布，时至今日，Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
kubeadm搭建k8s高可用集群（keepalived+nginx+3master）
文章浏览阅读742次，点赞2次，收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
文章浏览阅读1.9k次，点赞21次，收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；_euler 服务器搭建
tkestack/gpu-manager在k8s1.23版本之后的使用
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
k8s存储卷-动态PV
文章浏览阅读1k次，点赞18次，收藏16次。SelfLink：API的资源对象之一，表示资源对象在集群当中自身的一个连结，self-Link是一个唯一的标识号，可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置，在provisioner当中定义好环境变量，传给容器，storageclass的名称，NFS服务器的地址，NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中，监听k8s集群当中PV的请求，然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
K8S证书过期解决办法之替换证书
文章浏览阅读6.3k次，点赞2次，收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队
文章浏览阅读1k次。KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据
K8S exporter应用
文章浏览阅读888次。exporter对于云服务的监控还是很不完美，毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中，但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别，收敛配置一下！_command: - "-redis.password-file=/redis_passwd.json
Kubernetes 默认的4种命名空间
文章浏览阅读1k次。可以在此处（https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns）和此处（https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service）找到更多的详细信息。-or-ipvs/）和此处（https://arthurchiao.art/blog/cracking-k8s-node-proxy/）。_k8s默认命名空间
【C站首发】全网最新Kubernetes（K8s）1.28版本探秘及部署 基于Containerd容器运行时（100年证书kubeadm）
文章浏览阅读4.9k次，点赞11次，收藏32次。如果运行runc命令时提示：runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory，则表明runc没有找到libseccomp，需要检查libseccomp是否安装，本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
【K8S系列】深入解析k8s网络插件—Canal
文章浏览阅读3.6w次，点赞118次，收藏144次。Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。_k8s canal
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot