Kubernetes-20:日志聚合分析系统—Loki的搭建与使用

 

日志聚合分析系统——Loki

 

什么是Loki?

Loki 是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签,专门为 Prometheus 和 Kubernetes 用户做了相关优化。

 

与传统日志收集系统(例ELK)相比,Loki的优势有哪些?

  •  不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据,Loki操作起来会更简单,更省成本
  •  通过与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高
  •  特别适合存储 Kubernetes Pod 日志;诸如 Pod 标签之类的元数据会被自动删除和编入索引
  •   Grafana 原生支持,与 Prometheus 配合更加方便

 

解决痛点?

 无需再去其他界面,或者终端上查看单个Pod的日志

 

整体架构

Loki的架构并不难,主要是以下三部分组成:

  •  Loki 为主服务器。负责存储日志和处理查询
  •  Promtail 是代理。负责收集日志并将其发送给Loki
  •  Grafana 用来UI展示。

 

Loki 使用与 Prometheus 相同的服务发现和标签重新标记库,编写了 Promtail。在 Kubernetes 中 Promtail 以 DaemonSet 方式运行在每个节点中,通过 Kubernetes API 得到日志的正确元数据,并将它们发送到Loki,如下图:

 

 可以看到,Loki中主要的组件有Distributor、Ingester和Querier三个。

 

负责写入的组件有Distributor和Ingester两个:

 

Distributor

Promtaif 一旦将日志发送给Loki,Distributor 就是第一个接收日志的组件。由于日志的写入量可能很大,所以不能在它们传入时并行写入数据库,要先进行批处理和压缩数据。

  1. Distributor 接收到 HTTP 请求,用于存储流数据
  2.  通过 hash 环对数据流进行 hash
  3.  通过hash算法计算出应该发送到哪个Ingester后,发送数据流
  4.  Ingester新建Chunks或将数据追加到已有的Chunk上

 

 

 

Ingester

Ingester 接收到日志并开始构建 Chunk:

Ingester 是一个有状态组件,负责构建和刷新Chunk,当Chunk达到一定数量或者时间后,刷新到存储中去,每一个流日志对应一个Ingester。index和Chunk各自使用单独的数据库,因为他们存储额数据类型不同。

 

负责读的组件则是Querier:

 

读取就比较简单,由 Querier 负责给定一个时间范围和标签选择器,也就是收到读请求:

  1.  Querier 收到HTTP读请求
  2.  Querier 将请求发送至Ingester读取还未写入Chunks的内存数据
  3.  随后再去index+chunks中查找数据
  4.  Querier 遍历所有数据并进行去重处理,再返回最终结果

 

搭建使用

上边主要介绍的Loki的工作流程及组件,下面我们实际搭建操作下:

Loki项目地址:https://github.com/grafana/loki/

                官网:https://grafana.com/oss/loki/

 

一、通过Helm部署:

## 添加chart
helm repo add loki https://grafana.github.io/loki/charts

## 更新chart
helm repo update 

## 将loki template下载到本地
helm fetch loki/loki-stack

## 解压并自定义修改参数
tar zxvf loki-stack-2.0.2.tgz
cd loki-stack/ $$ ls
charts  Chart.yaml  README.md  requirements.lock  requirements.yaml  templates  values.yaml

cd charts/ $$ 
filebeat  fluent-bit  grafana  logstash  loki  prometheus  promtail

 

开始helm安装前要注意几个点:

1、可以修改values.yaml文件,指定是否开启Grafana、Prometheus等服务,默认不开启的:

loki:
  enabled: true

promtail:
  enabled: 

fluent-bit:
  enabled: false

grafana:
  enabled: 
  sidecar:
    datasources:
      enabled: 
  image:
    tag: 6.7.0

prometheus:
  enabled: false

在此只开启Grafana

 

修改Grafana的values.yaml,使其Service暴露方式为NodePort(默认为ClusterIp):

vim charts/grafana/values.yaml

service:
  type: NodePort
  port: 80
  nodePort: 30002  # 端口范围:30000-32767
  targetPort: 3000
    # targetPort: 4181 To be used with a proxy extraContainer
  annotations: {}
  labels: {}
  portName: service

还有一处账号密码可以自定义修改下:

# Administrator credentials when not using an existing secret (see below)
adminUser: admin
adminPassword: admin

 

2promtail服务在构建时会自动挂载:

  1.  宿主机docker主目录下的containers目录,一般默认都为/var/lib/docker/containers
  2.  pod的日志目录,一般默认为/var/log/pods

这就需要特别注意一下,如果是修改过docker默认的存储路径的,需要将mount的路径进行修改,promtail找不到对应的容器日志

具体docker 存储路径,可以使用docker info 命令查询

vim charts/promtail/values.yaml

volumes:
- name: docker
  hostPath:
    path: /data/lib/docker/containers  ## 我的是放在了data下
- name: pods
  hostPath:
    path: /var/log/pods

volumeMounts:
- name: docker
  mountPath: /data/lib/docker/containers  ## 挂载点也要进行修改
  readOnly: true
- name: pods
  mountPath: /var/log/pods
  readOnly: true

 

开始安装:

helm install -n loki --namespace loki -f values.yaml ../loki-stack
2020/11/11 17:18:54 Warning: Merging destination map for chart 'logstash'. The destination item filters' is a table and ignoring the source ' as it has a non-table value of: <nil>
NAME:   loki
LAST DEPLOYED: Wed Nov 53 2020
NAMESPACE: loki
STATUS: DEPLOYED

RESOURCES:
==> v1/ClusterRole
NAME                       AGE
loki-promtail-clusterrole  1s
loki-grafana-clusterrole   1s

==> v1/ClusterRoleBinding
NAME                              AGE
loki-promtail-clusterrolebinding  1s
loki-grafana-clusterrolebinding   1s

==> v1/ConfigMap
NAME                  DATA  AGE
loki-grafana          1     1s
loki-grafana-test          1s
loki-loki-stack            1s
loki-loki-stack-test       1s
loki-promtail              1s

==> v1/DaemonSet
NAME           DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE SELECTOR  AGE
loki-promtail  2        0      2           0          <none>         1s

==> v1/Deployment
NAME          READY  UP-TO-DATE  AVAILABLE  AGE
loki-grafana  0/1    1                     1s

==> v1/Pod(related)
NAME                         READY  STATUS             RESTARTS  AGE
loki-0                       1    ContainerCreating           2s
loki-grafana-56bf5d8d-8zcgp  1    Init:         2s
loki-promtail-6r24r                   2s
loki-promtail-fvnfc                   2s

==> v1/Role
NAME               AGE
loki-promtail      1s
loki-grafana-test  1s
loki               1s

==> v1/RoleBinding
NAME               AGE
loki-Secret
NAME          TYPE    DATA  AGE
loki          Opaque       1s
loki-grafana  Opaque  3Service
NAME           TYPE       CLUSTER-IP      EXTERNAL-IP  PORT(S)       AGE
loki           ClusterIP  10.109.216.219  <none>       3100/TCP      1s
loki-grafana   NodePort   10.100.203.138  <none>       80:30002/TCP  1s
loki-headless  ClusterIP  None            <none>       TCP      1s

==> v1/ServiceAccount
NAME               SECRETS  AGE
loki                       1s
loki-grafana               1s
loki-grafana-test          1s
loki-promtail              1s

==> v1/StatefulSet
NAME  READY  AGE
loki      1s

==> v1beta1/PodSecurityPolicy
NAME               PRIV   CAPS      SELINUX           RUNASUSER  FSGROUP    SUPGROUP  READONLYROOTFS  VOLUMES
loki               false  RunAsAny  MustRunAsNonRoot  MustRunAs  MustRunAs        configMap,emptyDir,persistentVolumeClaim,secret,projected,downwardAPI
loki-grafana       false  RunAsAny  RunAsAny          RunAsAny   RunAsAny        configMap,downwardAPI,persistentVolumeClaim
loki-grafana-test        secret,configMap,hostPath,emptyDir

==> v1beta1/Role
NAME          AGE
loki-grafana  1s

==> v1beta1/RoleBinding
NAME          AGE
loki-grafana  1s

 

创建完成后,通过暴露的svc访问Grafana:

[root@Centos8 loki-stack]# kubectl get svc -n loki 
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
loki            ClusterIP   216.219   <none>        TCP       113s
loki-grafana    NodePort    203.138   <none>        TCP   113s
loki-headless   ClusterIP   None             <none>        3100/TCP       113s

 

二、开始使用Loki

通过服务器ip+30002访问,登录成功后,有一点需要注意的地方,也是非常容易踩坑的地方!!!

如果是安装Loki时采用的以上方法,开启了Grafana,那系统会自动配置好Data sources,应该不会有什么问题。

但是,如果是手动搭建的Grafana,需要手动添加Data Sources时,一定注意:

数据源名称中的Loki,L一定要是大写!!!

如果不是大写,会导致连接不到Loki源,一般回报错:Error connecting to datasource: Loki: Bad Gateway. 502

 

 

如果是Loki,L大写,结局完全不一样

 

数据源添加完毕后,开始查看日志

点击Explore,可以看到选择labels的地方

 

 

以下是labels的展现形式

 

 

选择一个app:grafana的标签查看一下

默认Loki会将stdout(正常输出)类型和stderr(错误输出)类型全部展示出来

 

如果只想查看stderr错误输出类型的日志,可以点击stderr旁边的放大镜来展示:

 

 此时显示的全部为错误日志

 

除了这种办法,还可以直接通过上边的搜索栏,进行自定义的筛选,具体的语法问题,可以再自行查询学习。

还可以查看 Prometheus 的 metrics 信息:

 

Loki的搭建及简单的使用就到此结束了

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的,这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟,一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下,节点上的 Pod 会被重新调度到其他节点上去,但是有的时候我们会发现节点 Down 掉以后,Pod 并不会立即触发重新调度,这实际上就是和 Kubelet 的状态更新机制密切相关的,Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程,弹性云是滴滴内部提供给网约车等核心服务的容器平台,其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力,分为以下部分:调度链路图:介绍当前弹性云调度体系链路,对架构体系有一个初步的认知k8s 调度能力的运用:整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级:介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
文章浏览阅读897次。对于cpu来说,这种分配方式并不会有太大问题,因为cpu可以灵活调度,numa调度时我们只计算绑定了numa cpu的pod是可以接受的,但是对于内存来说,numa node上申请了的内存无法做到随时迁移,这就会导致调度器视角numa node的mem资源足够,但是等到pod真正使用时,由于没有绑定numa node的pod申请的内存,导致numa node的mem资源不足,造成swap中断或者远端内存申请,这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
文章浏览阅读796次,点赞17次,收藏15次。只要在Service定义中设置了ClusterIp:None,就定义了一个HeadLess Service, 它与普通的Service关键区别在于它没有ClusterIp地址,如果解析HeadLess Service的DNS域名,则会返回该Service对应的全部Pod的EndPoint列表,这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解:属于资源对象的元数据,可以被理解为一种特殊的标签,不过更多的是与程序挂钩,通常用于实现资源对象属性的自定义扩展。
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了,但是无法创建资源文件,也就是无法上传文件,可能 dolphinscheduler 团队就想着将文件上传到 hdfs,暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候,即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
文章浏览阅读2.7k次,点赞2次,收藏13次。公司使用的是交老的k8s版本(1.16),由于老版本的K8s对于现在很多新特性不支持,所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
文章浏览阅读1.8w次,点赞14次,收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
文章浏览阅读1.1k次,点赞2次,收藏7次。具体操作步骤可以参考之前的教程,建议是先安装一台,然后克隆虚拟机,这样速度快。注意:在克隆时记得修改Mac地址、IP地址、UUID和主机名。(最后别忘了保存下快照~)_部署k8s集群
文章浏览阅读863次,点赞23次,收藏16次。当部署完 Kubernetes,便拥有了一个完整的集群。一组工作机器,称为节点, 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ,而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本:集群:cluster,多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起,称之为该软件(服务)的集群,当然集群中的节点身份地位是不一样的。k8s集群也是如此,他也是多个节点组成。
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台,实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理,以确保集群的安全性,加速企业数字化转型。Rancher 1.0版本在2016年就已发布,时至今日,Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
文章浏览阅读742次,点赞2次,收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
文章浏览阅读1.9k次,点赞21次,收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器,最后点击--“保存”;首先选中--“本地标准磁盘”,存储配置--自定义分区,点击--“完成”;在--主机名--设置主机名:(例如k8s-master01),点击--点击+,设置--挂载点/boot--期望容量,点击--添加挂载点;点击--+--挂载点swap--期望容量,点击--“添加挂载点”;默认选择--亚洲--上海,并调整日期和时间,点击--“完成”;设备类型--确认--LVM,卷组--选择“修改”;_euler 服务器搭建
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时,虽然显示gpu节点上gpu-manage的pod实例都是running状态,但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像,但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。,但是在k8s1.23版本之后,接口路径已经改为。资源时,却始终找不到有资源的节点。,另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时,返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
文章浏览阅读1k次,点赞18次,收藏16次。SelfLink:API的资源对象之一,表示资源对象在集群当中自身的一个连结,self-Link是一个唯一的标识号,可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置,在provisioner当中定义好环境变量,传给容器,storageclass的名称,NFS服务器的地址,NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中,监听k8s集群当中PV的请求,然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
文章浏览阅读6.3k次,点赞2次,收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
文章浏览阅读1k次。KMS,Key Management Service,即密钥管理服务,在K8S集群中,以驱动和插件的形式启用对Secret,Configmap进行加密。以保护敏感数据
文章浏览阅读888次。exporter对于云服务的监控还是很不完美,毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中,但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别,收敛配置一下!_command: - "-redis.password-file=/redis_passwd.json
文章浏览阅读1k次。可以在此处(https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns)和此处(https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service)找到更多的详细信息。-or-ipvs/)和此处(https://arthurchiao.art/blog/cracking-k8s-node-proxy/)。_k8s默认命名空间
文章浏览阅读4.9k次,点赞11次,收藏32次。如果运行runc命令时提示:runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory,则表明runc没有找到libseccomp,需要检查libseccomp是否安装,本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
文章浏览阅读3.6w次,点赞118次,收藏144次。Canal 提供了网络功能,使得 Kubernetes 集群中的 Pod 可以相互通信,并与集群外部的服务进行通信。它通过网络插件的方式,为每个 Pod 分配唯一的 IP 地址,并管理网络流量的路由和转发。此外,Canal 还支持网络策略,用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目,结合了二者的优点。它使用 Calico 的数据平面,提供高性能的网络转发和安全特性,同时使用 Flannel 的控制平面,实现 IP 地址管理和网络策略的配置。_k8s canal