Ops实践 | 从零开始，在云原生环境下快速实现K8S集群可视化监控

分类：k8s作者：全栈工程师修炼指南

2030d24e2417e8273fd79ca948eefb6a.jpeg

2cf00baaa1ff35686e43b08bfb0e1311.gif

微信改版了，现在看到我们全凭缘分，为了不错过【全栈工程师修炼指南】重要内容及福利，大家记得按照上方步骤设置「接收文章推送」哦~

关注回复【交流群】加入【SecDevOps】学习答疑群交流群!

原文链接：Ops实践 | 从零开始，在云原生环境下快速实现K8S集群可视化监控

前言简述:

描述: 上一章作者讲解了如何监控预警Windows/Linux系统服务器的资源，相信看过小伙伴们已经掌握实践过了吧，若还没看过的小伙伴也可以去看看，一定会让您收获满满的。此小节作者将继续讲解，如何在云原生的环境中使用Prometheus 来针对内部或者外部的 kubernetes 集群以及容器Pod指标进行监控和预警，以及使用 Grafana 工具针对的采集指标数据进行可视化展示。

此处作者在内部或外部K8S集群中以 DaemonSet 控制器形式部署 node-exporter（版本：v1.7.0）导出器，从而来动态采集K8S集群node节点的服务器的各类资源数据，如cpu、内存、磁盘、网络流量等,然后使用cadvisor来采集集群中容器监控指标(cadvisor集成在K8S的kubelet中所以无需部署),最后自定义要抓取采集指定的Pod容器中指标,所以说此文适用于有多K8S集群需要监控预警的朋友。说到这里，作者也请大家多多支持《#云原生落地实用指南》专栏（一杯茶颜悦色，就手把手实践企业在云原生环境下的监控预警），作者也将会持续更新此专栏，发布更多的云原生落地实践文章。

温馨提示：已付费此专栏的看友，若需要文章中的部署资源清单以及相关配置，请关注公众号回复【10014】或者直接添加作者WX。

此篇文章将实现如下架构图所示中针对内部K8S集群以及外部K8S集群监控。

6c79620f099fabe96fab4550a3833771.png

0.外部K8S集群节点监控指标抓取图

b5b21193a60cb99de802849d2fb90300.png

weiyigeek.top-外部集群抓取节点指标图

1.K8S集群节点可视化监控图

43d8cf3de5d7bd59e4c766fc39ae64a2.png

weiyigeek.top-K8S集群节点可视化监控图

2.K8S集群容器可视化监控图

efd7e4f6e852dafa893e5d62c776d01e.png

weiyigeek.top-K8S集群容器可视化监控图

3.在Grafana中使用KubeGraf插件来监控K8S集群

4c2200d3fbc2d76fc5e105037a177046.png

weiyigeek.top-使用KubeGraf插件查看节点图

0x00 前置知识

如何实现 Kubernetes 集群内监控指标的抓取？

  • Node 资源监控 ：使用 node-exporter 工具来实现各K8S节点 Node 的CPU、内存利用率等监控,其 __metrics_path__ 为：/api/v1/nodes/node名:9100/proxy/metrics。

  • Pod 资源监控 ：使用 kubelet 中集成的cadvisor 工具来实现容器 Pod 的CPU、内存利用率等监控,其__metrics_path__ 为：/api/v1/nodes/node名/proxy/metrics/cadvisor。

  • K8S 资源监控 : 使用 kube-state-metrics 工具 来实现K8S集群中 pod、deployment、service等各资源监控，其__metrics_path__ 需要按照__scheme__://__address____metrics_path__ 基于 Prometheus 的动态发现会基于标签进行自动补全；或者使用 Metrics-Server 用于收集聚合节点和Pod的指标数据,其 __metrics_path__ 为：/api/v1/nodes/node名:10250/proxy/metrics。

知识扩展: 

在Kubernetes集群中，Metrics-Server、kube-state-metrics、cAdvisor 之间的区别

  1. Metrics-Server：

  • Metrics-Server是Kubernetes官方提供的一个轻量级指标收集器，用于收集和聚合节点和Pod的指标数据。

  • Metrics-Server通过Kubernetes的Metrics API（/apis/metrics.k8s.io）提供指标数据，包括CPU使用率、内存使用量和网络流量等。

  • Metrics-Server主要用于自动扩展和调度Pod，以确保资源的合理利用。

kube-state-metrics：

  • kube-state-metrics是一个独立于Kubernetes官方的开源项目，用于提供更详细和全面的集群状态指标数据。

  • kube-state-metrics通过监听Kubernetes API服务器的事件和对象状态来收集指标数据，包括Pod、Node、Deployment、ReplicaSet、Service等。

  • kube-state-metrics提供了更多关于集群对象的详细指标，如副本数量、重启次数、容器状态等，可以用于监控和分析集群的运行状况和性能。

cAdvisor：

  • cAdvisor（Container Advisor）是一个开源项目，由Google开发，用于收集和提供容器级别的指标数据。

  • cAdvisor通过在每个节点上运行的代理程序来监控容器的资源使用情况，包括CPU、内存、磁盘和网络等。

  • cAdvisor提供了容器级别的指标数据，可以用于监控和分析容器的性能和资源使用情况。

总结：Metrics-Server主要用于监控节点和Pod的基本指标数据，kube-state-metrics提供了更详细和全面的集群状态指标数据，而cAdvisor专注于容器级别的指标数据。在实际使用中，可以根据需求选择部署和使用这些组件，以获得全面的监控和分析能力。

温馨提示：此处的实践的云原生环境,是在 国产化操作系统KylinOS V10服务器中部署的（国产化替代大趋势），具体搭建配置请参照此文《从零开始：新手快速在国产操作系统中搭建高可用K8S(V1.28)集群落地实践》其中已完成了 Metrics-Server 的安装，若要进行完成符合等保三级的主机安全配置，请参考此篇文章《网安等保-国产Linux操作系统银河麒麟KylinOS-V10SP3常规配置、系统优化与安全加固基线实践文档》。

温馨提示：下述操作在没有明确说是在Prometheus服务所在集群中操作的，默认就是在被要监控（抓取目标）的K8S集群中运行。

0x01 实践记录

操作流程:

Step 1.创建一个名为 monitor 的名称空间，此处不建议直接在 kube-system 空间下部署此服务，可以极大防止误操作，若没有创建此名称空间，请使用如下命令进行创建kubectl create ns monitor

Step 2.创建一个名为 prometheus 的 serviceaccount 以及 clusterRole 角色，主要用于 RBAC 权限的声明和控制，决定了使用此用户访问集群资源权限。

tee prometheus-rabc-setup.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus
  namespace: monitor
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus
  namespace: monitor
rules:
- apiGroups: [""]
  resources:
  - nodes
  - services
  - endpoints
  - pods
  - nodes/proxy
  - pods/proxy
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources:
  - configmaps
  - nodes/metrics
  verbs:
  - get
- apiGroups:
  - "extensions"
  resources:
  - ingresses
  verbs: ["get", "watch"]
- nonResourceURLs: ["/metrics", "/metrics/cadvisor"]
  verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus
subjects:
- kind: ServiceAccount
  name: prometheus
  namespace: monitor
EOF

# 创建 rabc 
kubectl apply -f prometheus-rabc-setup.yaml

Step 3.创建部署 DaemonSet 控制器管理的 node-exporter 服务，使之运行在不同的节点之上。

# 资源清单
tee node-exporter-DaemonSet.yaml <<'EOF'
kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: node-exporter
  namespace: monitor
  labels:
    k8s-app: node-exporter
  annotations:
    prometheus.io/scrape: 'true'
spec:
  selector:
    matchLabels:
      k8s-app: node-exporter
  template:
    metadata:
      labels:
        k8s-app: node-exporter
      name: node-exporter
    spec:
      containers:
      - image: prom/node-exporter:v1.7.0
        name: node-exporter
        ports:
        - containerPort: 9100
          hostPort: 9100
          name: http
      hostNetwork: true
      hostPID: true
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
---
kind: Service
apiVersion: v1
metadata:
  name: node-exporter
  namespace: monitor
  labels:
    k8s-app: node-exporter
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/port: '9100'
    prometheus.io/path: '/metrics'
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: http
    port: 9100
    protocol: TCP
  selector:
    k8s-app: node-exporter
EOF

# 部署 node-exporter
kubectl apply -f node-exporter-DaemonSet.yaml
  # daemonset.apps/node-exporter created
  # service/node-exporter created

# 查看部署
kubectl get svc,pod -n monitor -o wide

# 验证部署
curl -s 192.168.11.102:9100/metrics | head -n 10

1e1c0a60029e58d9b051ec23f4216c36.png

weiyigeek.top-在集群中部署node-exporter效果图

至此，在K8S集群中部署 node-exporter 实践完毕，下面我们分别来配置内部、外部K8S集群的节点指标采集和监控!

1.内部集群监控指标拉取

描述：此处的集群内部(本地)表示是我们 Prometheus 服务所部署在的K8S集群对象，即在此集群中安装了Prometheus等相关服务，在此合集《Ops实践 | 从零开始，搭建云原生环境下企业监控预警可视化平台》中，安装Prometheus时同样进行了Prometheus的servicesaccount、clusterrole 、ClusterRoleBinding 等资源的创建，此处不累多说，直接开始 Prometheus 抓取K8S集群节点指标、Pod 指标配置。

完整原文：Ops实践 | 从零开始，在云原生环境下快速实现K8S集群可视化监控作者在内部或外部K8S集群中以DaemonSet控制器形式部署node-exporter,来动态采集K8S集群节点的服务器的各类资源数据，在使用cadvisor拉取集群中容器监控指标,自定义要抓取Pod容器指标,并采用进行数据可视化展示

icon-default.png

https://mp.weixin.qq.com/s/qYUYFrL_qy0SOa4p69r2Eg

原文地址：https://blog.csdn.net/u013072756/article/details/134658181

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

【博客694】k8s kubelet 状态更新机制
文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的，这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟，一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下，节点上的 Pod 会被重新调度到其他节点上去，但是有的时候我们会发现节点 Down 掉以后，Pod 并不会立即触发重新调度，这实际上就是和 Kubelet 的状态更新机制密切相关的，Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
滴滴弹性云基于 K8S 的调度实践
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
NUMA架构在kubernetes中的应用
文章浏览阅读897次。对于cpu来说，这种分配方式并不会有太大问题，因为cpu可以灵活调度，numa调度时我们只计算绑定了numa cpu的pod是可以接受的，但是对于内存来说，numa node上申请了的内存无法做到随时迁移，这就会导致调度器视角numa node的mem资源足够，但是等到pod真正使用时，由于没有绑定numa node的pod申请的内存，导致numa node的mem资源不足，造成swap中断或者远端内存申请，这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
k8s中资源对象有哪些及它们如何协作
文章浏览阅读796次，点赞17次，收藏15次。只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service， 它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。
Kubernetes 部署DolphinScheduler 创建租户失败
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了，但是无法创建资源文件，也就是无法上传文件，可能 dolphinscheduler 团队就想着将文件上传到 hdfs，暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候，即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
文章浏览阅读2.7k次，点赞2次，收藏13次。公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
kubernetes新版本使用kubeadm init的超全问题解决和建议
文章浏览阅读1.8w次，点赞14次，收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
Kubernetes(K8S)集群部署
文章浏览阅读1.1k次，点赞2次，收藏7次。具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）_部署k8s集群
k8s从初识到上天系列第二篇：kubernetes的组件和架构
文章浏览阅读863次，点赞23次，收藏16次。当部署完 Kubernetes，便拥有了一个完整的集群。一组工作机器，称为节点， 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ，而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本：集群：cluster，多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起，称之为该软件(服务)的集群，当然集群中的节点身份地位是不一样的。k8s集群也是如此，他也是多个节点组成。
Rancher管理K8S
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。Rancher 1.0版本在2016年就已发布，时至今日，Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
kubeadm搭建k8s高可用集群（keepalived+nginx+3master）
文章浏览阅读742次，点赞2次，收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
文章浏览阅读1.9k次，点赞21次，收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；_euler 服务器搭建
tkestack/gpu-manager在k8s1.23版本之后的使用
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
k8s存储卷-动态PV
文章浏览阅读1k次，点赞18次，收藏16次。SelfLink：API的资源对象之一，表示资源对象在集群当中自身的一个连结，self-Link是一个唯一的标识号，可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置，在provisioner当中定义好环境变量，传给容器，storageclass的名称，NFS服务器的地址，NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中，监听k8s集群当中PV的请求，然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
K8S证书过期解决办法之替换证书
文章浏览阅读6.3k次，点赞2次，收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队
文章浏览阅读1k次。KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据
K8S exporter应用
文章浏览阅读888次。exporter对于云服务的监控还是很不完美，毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中，但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别，收敛配置一下！_command: - "-redis.password-file=/redis_passwd.json
Kubernetes 默认的4种命名空间
文章浏览阅读1k次。可以在此处（https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns）和此处（https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service）找到更多的详细信息。-or-ipvs/）和此处（https://arthurchiao.art/blog/cracking-k8s-node-proxy/）。_k8s默认命名空间
【C站首发】全网最新Kubernetes（K8s）1.28版本探秘及部署 基于Containerd容器运行时（100年证书kubeadm）
文章浏览阅读4.9k次，点赞11次，收藏32次。如果运行runc命令时提示：runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory，则表明runc没有找到libseccomp，需要检查libseccomp是否安装，本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
【K8S系列】深入解析k8s网络插件—Canal
文章浏览阅读3.6w次，点赞118次，收藏144次。Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。_k8s canal
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot