如何使用火焰图来分析服务器负载

分类：服务器运维作者：编程之家用户

《如何使用火焰图来分析服务器负载》要点：
本文介绍了如何使用火焰图来分析服务器负载，希望对您有用。如果有疑问，可以联系我们。

LucidChart 提供在线编辑流程图、网络拓扑图、ER 图、 UML 图以及脑图等多种图表服务,有超过 7 百万的用户,因其简单直观的交互体验和强大的多人协作功能,是可以替代 Visio 的最佳选择.

在 Lucid,我们使用面向服务的架构来建设我们的系统.其中字体服务(font service)就是其中之一,它负责根据字体族名称和 unicode 编码范围来提供相应的字体服务,同时也对用户上传的字体进行校验和检查.在生产环境中,该服务的负载一直很高,这一点超出我们的预期(使用或等待 CPU 的平均线程数).特别从去年开始,我们注意到字体服务的负载高的惊人,特别是在晚上这样的流量低峰时期.

幸运的是最终我们找到了根本原因,并通过改进大大提高了服务的整体性能和稳定性.通过下面的内容,您将了解到我们是如何做到的.

如何使用火焰图来分析服务器负载

图1: 字体服务在变更前后服务器平均负载对比

通过火焰图来调试和发现问题

我们从 Netflix 找到了一个非常棒的火焰图工具,并部署到生产环境. 此工具可以将多个不同调试分析工具的数据组合在一起并生成火焰图,以可视化的方式展示服务器和 JVM 的资源使用情况.

如下图所示,每个矩形表示一个栈帧,同时矩形的宽度代表了资源(比如 CPU 时间)的使用情况,Y 轴表示调用栈.通过识别那些宽的矩形块,就能快速缩小问题范围.在调试和排查字体服务时,它极大地帮助了我们.

如何使用火焰图来分析服务器负载

图2: 高负载时字体服务中一台服务器的火焰图

在高负载状态下,我们对字体服务收集数据并生成了几个火焰图.下图是其中之一,并且特别展示了 JVM 相关栈的部分.可以分析得出,大部分时间都花在了 libz.so 这一步(gzip 使用该库进行压缩/解压缩操作),剩下大部分时间都花在了 XML 转义和 UTF-8 编码上.

如何使用火焰图来分析服务器负载

图3: JVM 相关栈活动的局部火焰图

找到慢的原因

首先多啰嗦几句这个字体服务的一些背景情况.我们将所有字体相关数据存储在 Amazon S3 中,具体来说是将每个字体的每个 unicode 范围分别存为一个 S3 object.当其他服务请求为了获取字体族,一组 unicode 范围,或者是用户自定义字体时会向字体服务请求字体数据,接着字体服务将字体数据包裹在 XML 中返回.

功能非常简单,并没有什么明显的密集型计算.但是对于出现的高负载问题,火焰图帮助我们识别出了问题所在—— libz,XML 转义和 UTF-8编码都使用了大量的 CPU.

但是为什么会产生这么多编码和压缩的消耗?记得前面提到晚上时间的负载反而是最高的吗?我们的晚上(美国山区时间)正好是亚洲地区的白天,该地区很多用户都使用中文、日文或韩文等亚洲语言.会进行大量的 gzip 解压缩 → UTF-8解码 → XML 转义 → UTF-8编码 → gzip 压缩.相比于拉丁语系,单个 CJK 的 unicode 范围比拉丁语系的 unicode 范围大2个数量级(1MB：60KB).所以上述的转换过程都压到了 CPU 上,特别压缩和解压缩,以及 XML 转义这类操作.

如何改进?

字体服务对请求的响应本质上只是 S3 上原始数据的集合.它确实需要执行一些重要的附加任务,如权限检查和从字体族中检索名称.但是,字体服务根本没必要挡在 S3 前面来代理那些字体数据!所以解决办法很简单,直接用包含 S3 object 的链接(就是那些字体数据)的列表作为响应返回,字体服务不再从 S3 下载并重新编码字体数据.所以从图1中可以看出负载几乎降低到可忽略的程度.

总结

通过调试分析生产环境,我们能够找到并消除那些不必要的任务和工作,进而降低服务器负载.

  1. 使用例如火焰图之类的分析工具(profiling tool)来帮助识别 CPU 高占用的操作.
  2. 压缩/解压缩和各种编码/解码的操作都是昂贵的.
  3. 如果客户端可以直接访问数据,那么相比代理(客户端去请求)数据,直接返回链接是最好的选择,可以显著提高整体性能.

参考链接

[1] Brendan D. Gregg的个人网站 http://www.brendangregg.com
[2] Flame graphs http://www.brendangregg.com/flamegraphs.html
[3] 白话火焰图 https://huoding.com/2016/08/18/531
[4] Java Flame graphs http://www.brendangregg.com/blog/2014-06-12/java-flame-graphs.html
[5] OpenRestry 关于火焰图在 Lua 中的使用 https://moonbingbing.gitbooks.io/openresty-best-practices/flame_graph.html
[6] 在 Netflix 中的应用 http://techblog.netflix.com/2015/07/java-in-flames.html
[7] 在 Netflix 中的应用 http://techblog.netflix.com/2016/04/saving-13-million-computational-minutes.html

原文来自微信公众号：高可用架构

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

CentOS_Server with GUI入门
起步 处理器架构，参考 x86是指intel的开发的一种32位指令集 intel和amd早期的cpu都支持这种指令集 AMD比Intel率先制造出了商用的兼容x86的CPU，AMD称之为AMD64 Intel选择了设计一种不兼容x86的全新64为指令集，称之为IA-64，后来支持AMD64的指令集，
常用命令总结
pscp pscp -P 22 C:\work\test.txt root@192.168.1.5:/home/data pscp -P 22 root@192.168.1.5:/home/data/test.txt C://work// 检索 find / -name default.config
Linux常用命令
文件处理 ls -a # 显示所有文件 ls -l # 显示详细信息 ls -d # 显示路径 mkdir /目录名称 # 创建目录 cd /目录名称 # 切换目录 pwd # 显示当前路径 rmdir /目录名称 # 删除目录 cp -rp [目录名称] [目标目录] # 复制目录到目标目录 cp
真实机中安装CentOS8(二)
准备一台电脑（我就用联想拯救者r7000演示） 参考博客制作启动盘 插上U盘，启动电脑，一直按F2 进入如下页面后，将U盘设置为第一启动项，点击exit，保存并退出 之后进入如下页面，选择第三项 进入如下页面，选择第四项 进入如下页面，选择第一项，选中后，先不要点Enter 按e键，将inst.st
Linux分区
认识 Linux系统是参考了UNIX系统作为模板开发的，但没有使用UNIX的代码；是UNIX的一种，但不是衍生版 在Linux内核的基础上开发是发行版 分区 逻辑分区永远从5开始 步骤 挂载：可理解为分配盘符，挂载点即是盘符名；不同之处：Linux中是以空目录名称作为盘符 Hda 第一块硬盘 Hda
常用命令：复制、剪切、分页、软链接
文件处理命令 以 . 开头的文件是隐藏文件 以 - 开头表示这是一个文件 以 d 开头表示是一个目录 以 l 开头表示是一个软链接 第一个root是所有者，第二个root是所属组 ls -h 以文件默认大小后缀 显示 ls -i 查看i节点（唯一标识） 所有者：只能有一个，可变更 所属组：只能有一个
VirtualBox中复制多个服务器并配置不同的ip
参考 01 02 03 前提环境 本地安装VirtualBox，并安装CentOS8，配置网络后，window系统上putty能连接到CentOS8服务器 配置步骤 右键服务器复制 启动复制后的服务器，查看ip和hostname发现和原来的服务器一样，需要修改 hostname # 查看主机名 vi
常用命令：文件检索
文件搜索命令 星号匹配任意字符，问号匹配任意单个字符 -iname 根据文件名查找且不区分大小写 -ok 命名会有一个询问的步骤 如果没有找到指定文件，可输入命令：updatedb 更新文件资料库；除tmp目录不在文件资料库收录范围之内 locate -i 文件名 # 检索时不区分大小写 which
虚拟机VirtualBox安装CentOS7，并配置网络
安装环境 安装最新版的Virtual Box，点击安装 下载centos8镜像 创建虚拟机，可参考 选择下载到本地的镜像 设置启动顺序 点击启动 启动过程中报错：“FATAL：No bootable medium found!” 1.没有选择iso镜像 2.光驱没有排在第一位置 3.镜像只能选择x8
Linux学习技巧
Linux严格区分大小写 所有内容文件形式保存，包括硬件 Linux不靠扩展名区分文件类型 挂载：将设备文件名和挂载点（盘符）连接的过程 Linux各个目录的作用 bin表示二进制 服务器注意事项 远程服务器不允许关机，只能重启 重启时应该关闭服务 不要在服务器访问高峰运行高负载命令 远程配置防火墙
IDE使用技巧（一）：连接CentOS
IDE连接Linux，上传下载文件 参考1 参考2 连接Linux 上传下载文件 本地项目打包后上传 查看是否上传成功，右键下载 补充 后端项目开发完成后，需clean掉临时文件target文件夹，且只推送修改过的文件 前端项目开发的过程中，需要在每个子组件中使用scoped，确保每个子组件中的编码
ubuntu入门
起步 LTS与普通版本的区别 LTS版本的发布周期更长，更加稳定 安装jdk sudo mkdir /usr/lib/jvm # 在Ubuntu中创建目录 pscp D:\安装包\linux源码包\jdk-8u291-linux-x64.tar.gz chnq@192.168.0.102:/tmp
真实机中安装CentOS7(一)
前言 最近在b站上看了兄弟连老师的Linux教程，非常适合入门：https://www.bilibili.com/video/BV1mW411i7Qf 看完后就自己来试着玩下，正好手上有台空闲的电脑就尝试不使用虚拟机的方式安装Linux系统 安装步骤 制作启动盘 下载ISO镜像，我这里下载的是Cen
Oracle VM VirtualBox创建CentOS7
新建虚拟电脑 设置内存和处理器 设置硬盘大小 完成 设置 查看光驱 设置启动顺序 点击启动 选择第1项 进入图形安装界面 选择安装位置，开始安装 设置root密码 重启 登录 查看本地文件夹 配置网络，点击设置 查看宿主机ip C:\Users\ychen λ ipconfig 无线局域网适配器 W
软件包管理：rpm命令管理
源码包安装需手动下载后安装 二进制包则在package目录下 rpm命令管理rpm包 若某个rpm包依赖于某个模块，需要到网站www.rpmfind.net查询该模块依赖的包，安装这个包后自动安装模块，之后就能安装rpm包了 安装升级时使用包全名 查询卸载时使用包名 虚拟机中的Linux系统安装rp
文本编辑器
首先进入命令模式，再输入以下命令 命令模式用于输入命令 插入模式可对文件编写操作 编辑模式下的命令是在冒号后输入 :12, 15d # 删除指定范围的行，这里是删除12到15行 :n1,n2s/old/new/g ## 表示从n1行到n2行，old表示旧的字符串 vim使用小技巧：自定义快捷键，如快
软件包管理：源码包安装
使用源码包安装，需要自己指定安装位置，通常是 /usr/local/软件名/ linux中要想启动执行文件，应使用绝对路径 /绝对路径/rpm包名 start ## 执行方式一 service rpm包名 start ## 执行方式二 使用源码包安装后，由于自定义安装路径，就不能使用service命
网络命令、关机重启命令
网络命令 在收邮件的用户中，输入 mail 可查看邮件信息，输入序列号查看详细信息 在mail命令下，输入h 查看所有邮件的列表 输入：d 序列号 # 删除邮件 last # 统计所有用户登录或重启时间，用于日志查询 lastlog # 显示包括未登录用户的登录时间 lastlog -u 用户id
软件包管理：yum在线管理
若要使用yum管理，必须能连接网络，首先配置网络IP 进入yum源文件中启动容器 使用yum源头安装rpm包不需要进入package路径，同时也不需要使用包全名，会有yum自动管理 安装软件组
docker入门
简介 client即是本机安装的docker，相当于git Docker_host相当于centos系统 registry则是docker仓库，相当于GitHub 镜像用于创建docker容器，一个镜像可以创建多个docker容器 容器是由镜像创建的运行实例，（镜像相当于类，容器相当于类创建的对象）
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot