Linux高负载与ImageMagick转换实用程序和服务器冻结(blktrack输出附加)

分类：Linux作者：编程之家用户
我正在使用 ImageMagick将JPG转换为TIF文件,我正在使用Imagemagick的限制选项,如下所示： 
/usr/bin/convert -limit memory 256 -limit map 512 subjectfile.jpg -colorspace Gray -depth 8 -resample 200x200 output.tif

当我运行上面的命令时,服务器上的负载突然变得非常高,并且CPU大部分时间都处于等待状态,如下所示：

Tasks: 245 total,3 running,241 sleeping,0 stopped,1 zombie
Cpu0  :  0.0%us,0.0%sy,0.0%ni,0.0%id,100.0%wa,0.0%hi,0.0%si,0.0%st
Cpu1  :100.0%us,0.0%wa,0.0%st
Cpu2  :  1.0%us,1.0%sy,93.1%wa,5.0%si,0.0%st
Cpu3  :  6.9%us,90.1%id,1.0%hi,1.0%si,0.0%st
Mem:   4148160k total,3980380k used,167780k free,18012k buffers
Swap:  4096552k total,96k used,4096456k free,3339884k cached

此期间的iostat显示以下内容：

Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00  7361.00 62.00 137.00  3712.00 37180.00   410.97   128.13  120.48   5.04 100.20
sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda3              0.00  7361.00 62.00 137.00  3712.00 37180.00   410.97   128.13  120.48   5.04 100.20
sdb               0.00  7368.00  0.00 144.00     0.00 33136.00   460.22   133.84  203.48   6.96 100.20
sdb1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb3              0.00  7368.00  0.00 144.00     0.00 33136.00   460.22   133.84  203.48   6.96 100.20
md1               0.00     0.00 61.00 17711.00  3648.00 70844.00     8.38     0.00    0.00   0.00   0.00
md0               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00  1193.00  0.00 470.00     0.00 14200.00    60.43    91.07  216.34   2.02  95.00
sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda3              0.00  1193.00  0.00 470.00     0.00 14200.00    60.43    91.07  216.34   2.02  95.00
sdb               0.00  1138.00  0.00 410.00     0.00  8700.00    42.44   141.31  119.61   2.44 100.20
sdb1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb3              0.00  1138.00  0.00 410.00     0.00  8700.00    42.44   141.31  119.61   2.44 100.20
md1               0.00     0.00  0.00 5226.00     0.00 20904.00     8.00     0.00    0.00   0.00   0.00
md0               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00  1472.28  0.00 483.17     0.00  7821.78    32.38     5.52   11.43   0.52  25.05
sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda3              0.00  1472.28  0.00 483.17     0.00  7821.78    32.38     5.52   11.43   0.52  25.05
sdb               0.00  1511.88  0.00 410.89     0.00 10047.52    48.91   143.60  171.46   2.42  99.31
sdb1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb3              0.00  1511.88  0.00 410.89     0.00 10047.52    48.91   143.60  171.46   2.42  99.31
md1               0.00     0.00  0.00 778.22     0.00  3112.87     8.00     0.00    0.00   0.00   0.00
md0               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

我对Linux I / O性能并不是很熟悉,但是通过在互联网上阅读,我设法从blktrace获得了一些统计数据,这显示为：

==================== All Devices ====================
          ALL           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------

Q2Q               0.000000499   0.000486353   1.158217913      172004
Q2G               0.000000258   0.000059510   0.198865402      343500
S2G               0.000128922   0.010945336   0.198863747        1840
G2I               0.000000214   0.000000517   0.000168407      343504
Q2M               0.000000190   0.000000519   0.000122999      344516
I2D               0.000000879   0.016310824   0.305521347      342948
M2D               0.000000951   0.007473560   0.205691209      344492
D2C               0.000083899   0.002041770   0.160452919      171859
Q2C               0.000092851   0.013953825   0.317186332      171859

==================== Device Overhead ====================

       DEV |       Q2G       G2I       Q2M       I2D       D2C
---------- | --------- --------- --------- --------- ---------
 (  8,0) |   0.8524%   0.0074%   0.0075% 233.2591%  14.6323%
---------- | --------- --------- --------- --------- ---------
   Overall |   0.8524%   0.0074%   0.0075% 233.2591%  14.6323%

==================== Device Merge Information ====================

       DEV |       #Q       #D   Ratio |   BLKmin   BLKavg   BLKmax    Total
---------- | -------- -------- ------- | -------- -------- -------- --------
 (  8,0) |   343516   343516     1.0 |        8       16     1024  5650976

==================== Device Q2Q Seek Information ====================

       DEV |          NSEEKS            MEAN          MEDIAN | MODE           
---------- | --------------- --------------- --------------- | ---------------
 (  8,0) |          172005      27058614.9               0 | 0(123703)
---------- | --------------- --------------- --------------- | ---------------
   Overall |          NSEEKS            MEAN          MEDIAN | MODE           
   Average |          172005      27058614.9               0 | 0(123703)

==================== Device D2D Seek Information ====================

       DEV |          NSEEKS            MEAN          MEDIAN | MODE           
---------- | --------------- --------------- --------------- | ---------------
 (  8,0) |          343516       9204796.3               0 | 0(310240)
---------- | --------------- --------------- --------------- | ---------------
   Overall |          NSEEKS            MEAN          MEDIAN | MODE           
   Average |          343516       9204796.3               0 | 0(310240)

使用带有-A选项的btt显示,这：

==================== Per Process ====================

          Q2Qdm           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------

          Q2Adm           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------

          Q2Cdm           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------


            Q2Q           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------
convert           0.085368267   9.765798951  24.050329666           3
md1_raid1         0.000000730   0.000493657   1.158217913      169459
mysqld            0.000001386   0.018154085  14.221072636        2146
sh                0.005889458   0.322064972   1.423632298           5

            Q2A           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------

            Q2G           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------
convert           0.000000539   0.000003194   0.000005260          16
md1_raid1         0.000000258   0.000060580   0.198865402      333440
mysqld            0.000000270   0.000028381   0.058359194        8476
sh                0.000000506   0.000000827   0.000001610          24
            S2G           MIN           AVG           MAX           N
--------------- ------------- ------------- ------------- -----------
md1_raid1         0.000128922   0.010842039   0.198863747        1836
mysqld            0.058358625   0.058358625   0.058358625           4

我正在使用以下I / O计划：

# cat /sys/block/sd*/queue/scheduler 
noop anticipatory deadline [cfq] 
noop anticipatory deadline [cfq]

所以我的问题是当我使用限制选项时,为什么转换(ImageMagick)实用程序的平均(AVG)Q2Q值如此之高：

convert           0.085368267   9.765798951  24.050329666           3

我没有看到的负载会HIGHT问题,当我使用转换(ImageMagick的),而不-limit选项,这样你就可以请帮我为什么负载拍摄高,当我试图通过限制ImageMagick的与-limit选项和转换应用程序所使用的资源我该如何解决这个问题.

解决方法

我已经运行了您的确切命令行(尽管我假设有不同的图片;-))有和没有限制选项.我理解了这个问题：限制选项单位是以字节为单位.这是什么意思？

您为最大内存设置256B,为内存中的文件映射设置512B.因此,您不必拥有大块缓冲区读取,而是读取FS块的大小(如果您有4K硬盘,则更少).这会产生大量不必要的IO.

你想要做的是设置256MiB和512MiB(注意尊重MiB而不是mib或MIB！)：

/usr/bin/convert -limit memory 256MiB -limit map 512MiB subjectfile.jpg -colorspace Gray -depth 8 -resample 200x200 output.tif

使用此命令,我获得与不使用限制时相同的实时时间,并且与没有限制选项的情况相比,我或多或少具有相同的IO活动.

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

linux进程通信
linux常用进程通信方式包括管道（pipe）、有名管道（FIFO）、信号（signal）、消息队列、共享内存、信号量、套接字（socket)。管道用于具有亲缘关系的进程间通信,有名管道的每个管道具有名字,使没有亲缘关系的进程间也可以通信。信号是比较复杂的通信方式，用于通知接受进程有某种事件发生，除
Linux常用性能工具功能、用法及原理(一)
Linux性能观测工具按类别可分为系统级别和进程级别，系统级别对整个系统的性能做统计,而进程级别则具体到进程,为每个进程维护统计信息。

按实现原理分,可分为基于计数器和跟踪以及剖析。含义如下:

计数器:内核维护的统计数据，通常为无符号整型,用于对发生的事件计数,比如，网络包接收计数器,磁
curl命令详解
本文详细介绍了curl命令基础和高级用法，包括跳过https的证书验证，详细追踪整个交互过程,可用于调用网络后端接口，诊断http和https网络服务故障。
linux常用命令示例汇总
本文包含作者工作中常用到的一些命令,用于诊断网络、磁盘占满、fd泄漏等问题。命令包括ping、fping、tcpdump、lsof、netstat、/proc/$pid/fd、du、grep、traceroute、dig。
linux平均负载的理解及原因排查
linux的平均负载表示运行态和就绪态及不可中断状态(正在io)的进程数目,用uptime查看到负载很高，既有可能是CPU利用率高，也可能是大量在等待io的进程导致，用mpstat查看每个CPU的使用情况，查看CPU的使用率或者CPU花在等待io的时间，接着用pidstat定位具体的进程
CPU上下文切换
CPU上下文频繁切换会导致系统性能下降，切换分为进程切换、线程切换及中断切换，进程切换的开销较大，除了需要保存寄存器和程序计数器中的值还需保存全局变量、栈等到内存中，以便下次运行恢复，而同一进程中的线程切换开销会小很多，只需更新寄存器和线程独有的栈，共享资源如打开的文件、全局变量等无需切换，当硬件中
linux常用命令学习笔记
1.top命令 作用：该命令可以按CPU使用.内存使用和执行时间对任务进行排序，常用来监控系统中占用CPU或内存较高的程序及CPU和内存的负载。 默认视图： 当想看系统负载时，可观察汇总的%CPU中的us用户进程和sy系统进程是否占用CPU很高，相加接近100%就说明占用很高了，有些程序可能得不到及
【Linux】权限完结
文章浏览阅读1.8k次，点赞63次，收藏54次。Linux下的目录权限！！！粘滞位！！！超详解！！！
5、关于Qt的安装、Windows、Linux、MacBook
文章浏览阅读1.6k次，点赞44次，收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
Linux之shell脚本
本文介绍了使用shell脚本编写一个 Hello
【Linux】糟糕，是心动的感觉——与Linux的初次相遇
文章浏览阅读1.5k次，点赞37次，收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
Linux超详细笔记
文章浏览阅读3k次，点赞34次，收藏156次。Linux超详细笔记，个人学习时很认真的记录的，觉得好的麻烦点个赞。
【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1（亲测无问题，建议收藏）
文章浏览阅读6.8k次，点赞109次，收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1（亲测无问题，建议收藏）_openssh_9.5p1
【Linux】线程概念和线程控制
文章浏览阅读3.5k次，点赞93次，收藏78次。初识Linux中的线程，理解线程的各种概念，理解进程地址空间中的页表转换，介绍pthread线程库并理解线程库！
UE Linux常见错误
文章浏览阅读863次。出现此问题为Linux文件权限问题，解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
Linux shell操作.csv文件
文章浏览阅读2.9k次。使用文本编辑器：打开CSV文件，并使用文本编辑器（如Notepad++、Sublime Text、Visual Studio Code等）来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意，上述方法并非绝对准确，特别是当文件没有明确的编码标识时。因此，如果你发现CSV文件在不同的工具或方法中显示不同的编码格式，可能需要进行进一步的分析和判断，或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具：在命令行中，你可以使用。_shell读取csv文件逐行处理
linux升级gcc版本详细教程
本文介绍了如何在Linux系统中升级gcc版本，以便更好地支持C++11及以上版本的新特性。通过升级gcc，可以提升编译器的功能和性能，获得更好的开发体验。详细的步骤和方法请参考原文链接。
linux下的mosquitto服务安装及使用（避坑指南）
文章浏览阅读4.4k次，点赞6次，收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单，可以方便的来进行一些测试。_linux mosquitto
Linux ~/.ssh目录详解和密钥对使用
文章浏览阅读7.2k次，点赞2次，收藏12次。Linux中，用于根目录下有一个.ssh目录，保存了ssh相关的key和一些记录文件。_~/.ssh/
安装和配置SNMP(windows10和Linux)--附SNMP客户端工具
文章浏览阅读4.5k次，点赞5次，收藏18次。首先需要安装 snmp ，使用下面的命令进行安装安装完毕之后，使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot