1. 开始Kubernetes: k8s

目录内容: 

1. 发展经历

2. 知识图谱

3. 组件说明

  本节目标: 要求会画bolg系统和kubernetes系统的架构图,并且知道架构每一部分的作用.

一、发展经历

对于云计算来说,他会有一些发展标准

1. Infrastructure as a Service : 简称IAAS,基础设施及服务. 国内典型的厂家是阿里云. 国际最大的厂商是AWS.

2. platform as a Service: 简称PAAS,平台及服务. 

3. Software as a Service: 简称SSAS,软件设施及服务.

  比如: 我想用office套件,不在需要像以前一下,需要1小时的安装,我只需要通过b/s结构,也就是浏览器端访问到他的网页即可. 完成office的文件的创建,修改

 

下面来详细说说PAAS,平台及服务.

新浪有一个老的平台SAA,以前是用户可以免费申请这样一个平台,运行代码项目,比如java,php等.

  比如: 有一个用户,申请了一个SAA服务的平台. 然后新浪的运维在后台看到这个订单,开始部署环境. 这时候,运维特别苦逼. 来一个单子,部署一套环境. 

  后来有了一些自动部署的运维工具,让部署自动化所谓的环境的创建,可以能是java的环境,可能是php的环境. 直到后来,docker股份有限公司开发了docker. 这个公司主要就是做PAAS平台的. docker在他们公司的主要地位就是自动的构建这些环境的封装体. Docker成了PAAS下一代的标准. 随之也会带来一些问题.

  在传统的服务中,在一台物理机上,运行多个tomcat,多个数据库,组成一个大的集群. 这是没有问题的,但是一旦容器化以后,就有问题了.

  假设: 有6台物理机,让这6台物理机组成一个集群. 比如一台nginx,3台tomcat,2台mysql. 他们之间访问的方式是ip+端口号,进行联通.

  

     但是使用容器以后,我们就发现,他们之间的映射关系就比较困难了. 比如,将nginx安装在docker上. 首先要将docker中nginx的端口号映射到物理机上,tomcat需要吧8080映射到主机的8080. mysql也是.  而且一台服务器不可能只安装1个tomcat,还会有很多其他的应用,然后每台机器都会映射很多端口. 这样越来越多,太杂,太乱了. 于是衍生出了新的产品. 这个产品叫资源管理器.

 

 那么资源管理器又经过了哪些过程呢?

 1. Apache 的mesos: mesos是apache下开源的分布式管理框架,由加州大学的伯克利分校开发出来的. 2019年5月,弃用mesos,全部改为k8s.

2. docker swarm: 设置docker的母公司诞生的一款资源管理器. docker和swarm已经组成了一个体系的功能. 这个东西很轻量,只消耗几十M的资源,对于集群管理来说,消耗几十M是非常小的,通常都是要几十G的. 他这么好,为什么不用他呢? 根本原因,还是相对于k8s来说,swarm的功能还太少了. 比如我想实现一个滚动更新和回滚等操作. 在swarm里实现是非常困难的. 我们需要手工定义这个流程,太费事.   2019年7月   阿里云宣布  Docker swarm 剔除

3. kubernetes: google,在10年就已经进行容器化基础架构管理了. 系统的名字叫borg(伯格系统),当时很多人都想要这套系统,但是google不差钱,不卖. 后来随着docker的盛行,市场都开始研究资源管理器. 这是google站出来说话了. 他让其内部工程师,使用go语言,重新翻写了borg系统. 就是现在的k8s. 成为了当前的标准. 

  kubernetes的特点: 

    1. 轻量级: go语言开发,运行效率高,消耗资源少.

    2. 开源: 能够被推广的主要原因

    3. 弹性伸缩: 公司运行个几年就上市了,资源不够用了,从5台--->一下升级到10台. 我们还可以由主节点将某些节点调度剥离出去,有原来的8台缩减为5台. 可以释放资源,减少资金消耗

    4. 负载均衡: kubernetes已经实现了模块之间的负载均衡,不需要我们在使用调度器实现. 由kubernetes本机进行. 并且,kubernetes采用了最近版本的负载均衡框架IPVS. IPVS是我们国内开发的,是国人的骄傲,在负载均衡界也是老大,no1.

 

 二. 知识图谱

了解,都有哪些知识点 

 三. 组件说明

 

 本节目标: 要求会画bolg系统和kubernetes系统的架构图,并且知道架构每一部分的作用.

Kubernetes的前身是borg系统. 所以,我们先来看borg系统的架构

3.1 Borg系统的系统架构

 1. 首先可以看到,这里有两大块: BorgMaster和Borglet. 

  • BorgMaster: 负责请求的分发,是整个集群的大脑. BorgMaster为了避免单节点故障,所以,会有很多副本,通常副本数都是奇数3,5,7,9.....方便选举.
  • Borglet: 真正工作的系统是Borglet,Borglet会提供一些计算能力. 

2. 访问BorgMaster有三种方式

  • web browsers: 浏览器
  • command-line tools: 命令行
  • config file: 文件

在Kubernetes里面也会有这三种调度管理的方式.  

请求通过三种方式到达BorgMaster系统以后,master会对请求进行分发,分发给不同的Borglet进行处理. 比如,有活来了,领导要把活分给不同的小伙伴,那么怎么分呢? 就有一个scheduler调度器. 

由调度器来决定将任务分配给哪一个Borglet来做.  这里调度去Scheduler并不直接给Borglet分配工作,而是,将任务写入到数据库Paxos,进行持久化存储起来. Paxos是谷歌的键值对数据库. Borglet会监听Paxos数据库,看看是不是有我的任务来了. 如果来了,那就消费.

 

以上是borg系统的架构,Kubernetes和borg是类似的,  下面来看Kubernetes架构

3.2 Kubernetes架构

 

 

 这是k8s的架构图. 主要分为两大部分: 中间包含三个绿色包的是master服务器. 下面是node节点. 

  • Master: master中有哪些东西

    • scheduler: 任务调度器, 负责调度任务,选择合适的节点执行任务. 任务来了,还是通过scheduler进行任务调度分发至不同的node. 在Borg系统中,scheduler是将任务写入到Paxos系统中,而这里不同的是,scheduler会将任务交给api server,由api server将任务写入到etcd,也就是说scheduler不会直接和etcd交互
    • replication controller: 简称rc,控制器,用来维护副本的期望数目. 举个例子,我想让容器运行几个副本,就是由rc来控制的. 一旦副本数不符合我们的期望值,rc就要改写副本数或者申请到我们的期望值. 也就是创建对应的Pod或者删除对应的Pod
    • api server: 所有服务访问的统一入口. 就是一起访问的入口. 从上图可以看出. Master中scheduler需要和api server交互,rc要和api server交互,kubectl(客户端)也要和api sever交互,web UI也要和api server交互,etcd也要和api server交互. apiserver是非常繁忙的. 
  • etcd: 键值对数据库,存储K8s集群的所有重要信息(持久化). etcd就类似于在Borg系统中的Paxos键值对数据库. 在Kubernetes集群中起到的了持久化的作用. 对于etcd有两点说明: 

    • etcd官方将其定位为一个可信赖的分布式键值存储服务,它能够为整个分布式集群存储一些关键数据,协助分布式集群的正常运转.
    • etcd的版本

       

       etcd现在有两个版本,v2和v3版本,v2版本将数据保存到内存,v3版本将数据保存到数据库. 正常我们都选择使用v3版本,但Kubernetes v1.11版本之前使用的是v2版本.

    • etcd内部架构图 

 

      • http Server: 这里采用的是使用http进行构建的c/s服务,k8s也是采用的http协议进行c/s服务的开发. 为什么要这么做呢? 因为http天生支持一系列的操作. 例如: get,post,put,delete,  授权认证等. 所以,没有必要再去采用标准的tcp协议. 开发一系列的认证流程,直接采用http协议即可.
      • Raft是读写的信息,所有的读写信息都被存在Raft里面,而且,为了防止这些信息出现损坏,他还有一个WAL预写日志
      • WAL: 预写日志,如果要对数据进行更改,那么先写入一条日志,然后定时的对日志进行完整的备份. 也就是完整+临时. 比如: 我先备份一个大版本,备份以后,还会有1个子版本,两个子版本.....,然后将这些版本再次进行一个完整备份,把它变成一个大版本. 这样做的好处,我们不能始终进行完整备份,因为消耗的数据量太大. 为什么还要在一定时间内进行完整的备份呢?防止增量备份太多,还原的时候太费事. 并且,Raft还会实时的把这些数据和日志存入到本地磁盘进行持久化. 
      • Store: 试试把WAL中的日志和数据,写入磁盘进行持久化.

 

  • Node节点: 从图中可以看出,Node节点包含三个组件 ,kubelet,  kube proxy,以及container. 也就是说我们在node节点需要安装三个软件: kebelet,kebu proxy,docker

    

 

 

    •  kubelet的作用: 直接跟容器交互,实现容器的生命周期管理. 他会和CRI,C是容器,R是runtime,I是interface. CRI就是docker的操作形式. kubelet会和docker交互,创建需要的容器. kubelet会维持Pod的生命周期.
    • kube proxy的作用: 负责写入规则至IPTABLES,IPVS实现服务映射访问. 之前说过svc,可以进行负载操作,负责的操作就是通过kube proxy完成的. 怎么实现Pod与Pod之间的访问,以及负载均衡. 默认操作是操作防火墙,去实现Pod的映射. 新版本还支持IPVS.

 

其他重要的插件

  • COREDNS: 可以为集群中的SVC创建一个域名IP对应的关系解析. 也就是说,我们在集群中访问其他Pod的时候,完全不需要通过Pod的ip地址,通过CoreDns给他生成的域名去实现访问. 他是集群中的重要重要组件,也是实现负载均衡的其中一项功能.
  • DASHBOARD: 给K8S集群提供一个 B/S结构访问体系. 
  • Ingress Controller:  官方只为我们实现了四层代理. Ingress可以实现七层代理,也就是可以根据组件名和域名进行负载均衡. 
  • Federation: 提供一个可以跨集群中心多K8s统一集群管理功能. 
  • Prometheus(普罗米修斯): 提供K8S集群的监控能力.
  • ELK: 提供k8s集群日志统一接入平台

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的,这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟,一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下,节点上的 Pod 会被重新调度到其他节点上去,但是有的时候我们会发现节点 Down 掉以后,Pod 并不会立即触发重新调度,这实际上就是和 Kubelet 的状态更新机制密切相关的,Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程,弹性云是滴滴内部提供给网约车等核心服务的容器平台,其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力,分为以下部分:调度链路图:介绍当前弹性云调度体系链路,对架构体系有一个初步的认知k8s 调度能力的运用:整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级:介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
文章浏览阅读897次。对于cpu来说,这种分配方式并不会有太大问题,因为cpu可以灵活调度,numa调度时我们只计算绑定了numa cpu的pod是可以接受的,但是对于内存来说,numa node上申请了的内存无法做到随时迁移,这就会导致调度器视角numa node的mem资源足够,但是等到pod真正使用时,由于没有绑定numa node的pod申请的内存,导致numa node的mem资源不足,造成swap中断或者远端内存申请,这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
文章浏览阅读796次,点赞17次,收藏15次。只要在Service定义中设置了ClusterIp:None,就定义了一个HeadLess Service, 它与普通的Service关键区别在于它没有ClusterIp地址,如果解析HeadLess Service的DNS域名,则会返回该Service对应的全部Pod的EndPoint列表,这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解:属于资源对象的元数据,可以被理解为一种特殊的标签,不过更多的是与程序挂钩,通常用于实现资源对象属性的自定义扩展。
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了,但是无法创建资源文件,也就是无法上传文件,可能 dolphinscheduler 团队就想着将文件上传到 hdfs,暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候,即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
文章浏览阅读2.7k次,点赞2次,收藏13次。公司使用的是交老的k8s版本(1.16),由于老版本的K8s对于现在很多新特性不支持,所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
文章浏览阅读1.8w次,点赞14次,收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
文章浏览阅读1.1k次,点赞2次,收藏7次。具体操作步骤可以参考之前的教程,建议是先安装一台,然后克隆虚拟机,这样速度快。注意:在克隆时记得修改Mac地址、IP地址、UUID和主机名。(最后别忘了保存下快照~)_部署k8s集群
文章浏览阅读863次,点赞23次,收藏16次。当部署完 Kubernetes,便拥有了一个完整的集群。一组工作机器,称为节点, 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ,而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本:集群:cluster,多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起,称之为该软件(服务)的集群,当然集群中的节点身份地位是不一样的。k8s集群也是如此,他也是多个节点组成。
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台,实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理,以确保集群的安全性,加速企业数字化转型。Rancher 1.0版本在2016年就已发布,时至今日,Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
文章浏览阅读742次,点赞2次,收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
文章浏览阅读1.9k次,点赞21次,收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器,最后点击--“保存”;首先选中--“本地标准磁盘”,存储配置--自定义分区,点击--“完成”;在--主机名--设置主机名:(例如k8s-master01),点击--点击+,设置--挂载点/boot--期望容量,点击--添加挂载点;点击--+--挂载点swap--期望容量,点击--“添加挂载点”;默认选择--亚洲--上海,并调整日期和时间,点击--“完成”;设备类型--确认--LVM,卷组--选择“修改”;_euler 服务器搭建
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时,虽然显示gpu节点上gpu-manage的pod实例都是running状态,但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像,但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。,但是在k8s1.23版本之后,接口路径已经改为。资源时,却始终找不到有资源的节点。,另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时,返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
文章浏览阅读1k次,点赞18次,收藏16次。SelfLink:API的资源对象之一,表示资源对象在集群当中自身的一个连结,self-Link是一个唯一的标识号,可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置,在provisioner当中定义好环境变量,传给容器,storageclass的名称,NFS服务器的地址,NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中,监听k8s集群当中PV的请求,然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
文章浏览阅读6.3k次,点赞2次,收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
文章浏览阅读1k次。KMS,Key Management Service,即密钥管理服务,在K8S集群中,以驱动和插件的形式启用对Secret,Configmap进行加密。以保护敏感数据
文章浏览阅读888次。exporter对于云服务的监控还是很不完美,毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中,但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别,收敛配置一下!_command: - "-redis.password-file=/redis_passwd.json
文章浏览阅读1k次。可以在此处(https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns)和此处(https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service)找到更多的详细信息。-or-ipvs/)和此处(https://arthurchiao.art/blog/cracking-k8s-node-proxy/)。_k8s默认命名空间
文章浏览阅读4.9k次,点赞11次,收藏32次。如果运行runc命令时提示:runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory,则表明runc没有找到libseccomp,需要检查libseccomp是否安装,本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
文章浏览阅读3.6w次,点赞118次,收藏144次。Canal 提供了网络功能,使得 Kubernetes 集群中的 Pod 可以相互通信,并与集群外部的服务进行通信。它通过网络插件的方式,为每个 Pod 分配唯一的 IP 地址,并管理网络流量的路由和转发。此外,Canal 还支持网络策略,用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目,结合了二者的优点。它使用 Calico 的数据平面,提供高性能的网络转发和安全特性,同时使用 Flannel 的控制平面,实现 IP 地址管理和网络策略的配置。_k8s canal