linux – 使用管道时Shell命令慢,中间文件快

有没有人理解处理时间,使用中间文件或使用管道时的巨大差异?我正在使用新的debian挤压服务器上的标准工具将tiff转换为pdf.执行此操作的标准方法是首先转换为ps.

没有管道:

root@web5:~# time tiff2ps test.tif > test.ps

real    0m0.860s
user    0m0.744s
sys 0m0.112s

root@web5:~# time ps2pdf13 -sPAPERSIZE=a4 test.ps > test.pdf

real    0m0.667s
user    0m0.612s
sys 0m0.060s

带管:

root@web5:~# time tiff2ps test.tif | ps2pdf13 -sPAPERSIZE=a4 - > test.pdf

real    1m6.098s
user    0m15.861s
sys 0m50.9

在最后一个命令中,gs进程始终为100%.

更新:
这是ps生成的strace输出:

root@web5:~# strace tiff2ps test.tif > test.ps
execve("/usr/bin/tiff2ps",["tiff2ps","test.tif"],[/* 28 vars */]) = 0
brk(0)                                  = 0x1395000
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
mmap(NULL,8192,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,-1,0) = 0x7fb5a1937000
access("/etc/ld.so.preload",R_OK)      = -1 ENOENT (No such file or directory)
open("/etc/ld.so.cache",O_RDONLY)      = 3
fstat(3,{st_mode=S_IFREG|0644,st_size=21735,...}) = 0
mmap(NULL,21735,PROT_READ,MAP_PRIVATE,3,0) = 0x7fb5a1931000
close(3)                                = 0
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
open("/usr/lib/libtiff.so.4",O_RDONLY) = 3
read(3,"\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0P\200\0\0\0\0\0\0"...,832) = 832
fstat(3,st_size=405128,2501416,PROT_READ|PROT_EXEC,MAP_PRIVATE|MAP_DENYWRITE,0) = 0x7fb5a14b9000
mprotect(0x7fb5a151a000,2093056,PROT_NONE) = 0
mmap(0x7fb5a1719000,12288,MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE,0x60000) = 0x7fb5a1719000
close(3)                                = 0
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
open("/usr/lib/libjpeg.so.62","\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\3408\0\0\0\0\0\0"...,st_size=145048,2240080,0) = 0x7fb5a1296000
mprotect(0x7fb5a12b9000,PROT_NONE) = 0
mmap(0x7fb5a14b8000,4096,0x22000) = 0x7fb5a14b8000
close(3)                                = 0
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
open("/usr/lib/libz.so.1",O_RDONLY)    = 3
read(3,"\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\260\"\0\0\0\0\0\0"...,st_size=93936,0) = 0x7fb5a1930000
mmap(NULL,2188976,0) = 0x7fb5a107f000
mprotect(0x7fb5a1096000,PROT_NONE) = 0
mmap(0x7fb5a1295000,0x16000) = 0x7fb5a1295000
close(3)                                = 0
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
open("/lib/libm.so.6",O_RDONLY)        = 3
read(3,"\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\360>\0\0\0\0\0\0"...,st_size=530736,2625768,0) = 0x7fb5a0dfd000
mprotect(0x7fb5a0e7d000,2097152,PROT_NONE) = 0
mmap(0x7fb5a107d000,0x80000) = 0x7fb5a107d000
close(3)                                = 0
access("/etc/ld.so.nohwcap",F_OK)      = -1 ENOENT (No such file or directory)
open("/lib/libc.so.6","\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\240\355\1\0\0\0\0\0"...,{st_mode=S_IFREG|0755,st_size=1437064,3545160,0) = 0x7fb5a0a9b000
mprotect(0x7fb5a0bf4000,PROT_NONE) = 0
mmap(0x7fb5a0df3000,20480,0x158000) = 0x7fb5a0df3000
mmap(0x7fb5a0df8000,18504,MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS,0) = 0x7fb5a0df8000
close(3)                                = 0
mmap(NULL,0) = 0x7fb5a192f000
mmap(NULL,0) = 0x7fb5a192e000
mmap(NULL,0) = 0x7fb5a192d000
arch_prctl(ARCH_SET_FS,0x7fb5a192e700) = 0
mprotect(0x7fb5a0df3000,16384,PROT_READ) = 0
mprotect(0x7fb5a107d000,PROT_READ) = 0
mprotect(0x7fb5a1939000,PROT_READ) = 0
munmap(0x7fb5a1931000,21735)           = 0
open("test.tif",O_RDONLY)              = 3
brk(0)                                  = 0x1395000
brk(0x13b6000)                          = 0x13b6000
read(3,"II*\0\10\0\0\0",8)            = 8
fstat(3,st_size=1825656,1825656,MAP_SHARED,0) = 0x7fb5a176f000
open("/proc/meminfo",O_RDONLY)         = 4
fstat(4,{st_mode=S_IFREG|0444,st_size=0,0) = 0x7fb5a1936000
read(4,"MemTotal:        2090844 kB\nMemF"...,1024) = 1024
close(4)                                = 0
munmap(0x7fb5a1936000,4096)            = 0
write(2,"TIFFReadDirectory: ",19TIFFReadDirectory: )     = 19
write(2,"Warning,",9Warning,)                = 9
write(2,"test.tif: wrong data type 7 for "...,59test.tif: wrong data type 7 for "RichTIFFIPTC"; tag ignored) = 59
write(2,".\n",2.
)                      = 2
gettimeofday({1334836895,374666},NULL) = 0
fstat(1,{st_mode=S_IFREG|0664,0) = 0x7fb5a1936000
open("/etc/localtime",O_RDONLY)        = 4
fstat(4,st_size=1892,...}) = 0
fstat(4,0) = 0x7fb5a1935000
read(4,"TZif2\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\4\0\0\0\4\0\0\0\0"...,4096) = 1892
lseek(4,-1217,SEEK_CUR)               = 675
read(4,"TZif2\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\6\0\0\0\6\0\0\0\0"...,4096) = 1217
close(4)                                = 0
munmap(0x7fb5a1935000,4096)            = 0
write(1,"%!PS-Adobe-3.0 EPSF-3.0\n%%Creato"...,4096) = 4096
write(1,"fffffffffffffffffffffffffffff\nff"...,"ffffffffffffffffffff\nfffffffffff"...,"fffffffffff\nffffffffffffffffffff"...,"ff\nfffffffffffffffffffffffffffff"...,"ffffffffffffffffffffffffffffffff"...,"ffffffffffffffffffffffff\nfffffff"...,4096) = 4096

这是管道版本的strace输出:当输出通过管道传输到ps2pdf13时,PS生成似乎要慢得多.

root@web5:~# strace tiff2ps test.tif | ps2pdf13 -sPAPERSIZE=a4 - > test.pdf
execve("/usr/bin/tiff2ps",[/* 28 vars */]) = 0
brk(0)                                  = 0x1b97000
access("/etc/ld.so.nohwcap",0) = 0x7f9208bb1000
access("/etc/ld.so.preload",0) = 0x7f9208bab000
close(3)                                = 0
access("/etc/ld.so.nohwcap",0) = 0x7f9208733000
mprotect(0x7f9208794000,PROT_NONE) = 0
mmap(0x7f9208993000,0x60000) = 0x7f9208993000
close(3)                                = 0
access("/etc/ld.so.nohwcap",0) = 0x7f9208510000
mprotect(0x7f9208533000,PROT_NONE) = 0
mmap(0x7f9208732000,0x22000) = 0x7f9208732000
close(3)                                = 0
access("/etc/ld.so.nohwcap",0) = 0x7f9208baa000
mmap(NULL,0) = 0x7f92082f9000
mprotect(0x7f9208310000,PROT_NONE) = 0
mmap(0x7f920850f000,0x16000) = 0x7f920850f000
close(3)                                = 0
access("/etc/ld.so.nohwcap",0) = 0x7f9208077000
mprotect(0x7f92080f7000,PROT_NONE) = 0
mmap(0x7f92082f7000,0x80000) = 0x7f92082f7000
close(3)                                = 0
access("/etc/ld.so.nohwcap",0) = 0x7f9207d15000
mprotect(0x7f9207e6e000,PROT_NONE) = 0
mmap(0x7f920806d000,0x158000) = 0x7f920806d000
mmap(0x7f9208072000,0) = 0x7f9208072000
close(3)                                = 0
mmap(NULL,0) = 0x7f9208ba9000
mmap(NULL,0) = 0x7f9208ba8000
mmap(NULL,0) = 0x7f9208ba7000
arch_prctl(ARCH_SET_FS,0x7f9208ba8700) = 0
mprotect(0x7f920806d000,PROT_READ) = 0
mprotect(0x7f92082f7000,PROT_READ) = 0
mprotect(0x7f9208bb3000,PROT_READ) = 0
munmap(0x7f9208bab000,O_RDONLY)              = 3
brk(0)                                  = 0x1b97000
brk(0x1bb8000)                          = 0x1bb8000
read(3,0) = 0x7f92089e9000
open("/proc/meminfo",0) = 0x7f9208bb0000
read(4,1024) = 1024
close(4)                                = 0
munmap(0x7f9208bb0000,2.
)                      = 2
gettimeofday({1334836513,114140},{st_mode=S_IFIFO|0600,0) = 0x7f9208bb0000
open("/etc/localtime",0) = 0x7f9208baf000
read(4,4096) = 1217
close(4)                                = 0
munmap(0x7f9208baf000,4096) = 4096
...etc...

解决方法

编辑:
我在我的环境中使用您的源文件运行它,并得到以下结果:
[root@xt ~]# time tiff2ps test.tif > test.ps
real    0m0.795s
user    0m0.659s
sys     0m0.135s

[root@xt ~]# time ps2pdf13 -sPAPERSIZE=a4 test.ps > test.pdf
real    0m0.592s
user    0m0.513s
sys     0m0.075s

[root@xt ~]# time tiff2ps test.tif | ps2pdf13 -sPAPERSIZE=a4 - > test2.pdf
real    0m13.110s
user    0m4.601s
sys     0m7.260s

我添加了pv命令来查看发生了什么.这是发生的事情:

[root@xt ~]# time tiff2ps test.tif | pv | ps2pdf13 -sPAPERSIZE=a4 - > test2.pdf
50.5MB 0:00:12 [4.05MB/s] [                      <=>                                                               ]

real    0m13.934s
user    0m4.751s
sys     0m8.261s

将50兆字节的Postscript输出传送到ps2pdf13命令!
@janneb是正确的,因为这是一个缓冲/管道问题.我试过leverage the unbuffer command,但Ghostscript不喜欢伪终端.

你有什么理由不能使用tiff2pdf命令吗?

[root@xt ~]# time tiff2pdf -o test2.pdf test.tif

real    0m0.242s
user    0m0.176s
sys     0m0.064s

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限!!!粘滞位!!!超详解!!!
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,个人学习时很认真的记录的,觉得好的麻烦点个赞。
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1(亲测无问题,建议收藏)_openssh_9.5p1
文章浏览阅读3.5k次,点赞93次,收藏78次。初识Linux中的线程,理解线程的各种概念,理解进程地址空间中的页表转换,介绍pthread线程库并理解线程库!
文章浏览阅读863次。出现此问题为Linux文件权限问题,解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
文章浏览阅读2.9k次。使用文本编辑器:打开CSV文件,并使用文本编辑器(如Notepad++、Sublime Text、Visual Studio Code等)来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意,上述方法并非绝对准确,特别是当文件没有明确的编码标识时。因此,如果你发现CSV文件在不同的工具或方法中显示不同的编码格式,可能需要进行进一步的分析和判断,或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具:在命令行中,你可以使用。_shell读取csv文件逐行处理
本文介绍了如何在Linux系统中升级gcc版本,以便更好地支持C++11及以上版本的新特性。通过升级gcc,可以提升编译器的功能和性能,获得更好的开发体验。详细的步骤和方法请参考原文链接。
文章浏览阅读4.4k次,点赞6次,收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单,可以方便的来进行一些测试。_linux mosquitto
文章浏览阅读7.2k次,点赞2次,收藏12次。Linux中,用于根目录下有一个.ssh目录,保存了ssh相关的key和一些记录文件。_~/.ssh/
文章浏览阅读4.5k次,点赞5次,收藏18次。首先需要安装 snmp ,使用下面的命令进行安装安装完毕之后,使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具
文章浏览阅读3.5k次,点赞7次,收藏24次。本地部署和使用llama.cpp进行量化Llama2,linux和Windows平台方案,支持CPU和GPU多版本。_llama cpp gpu
文章浏览阅读1.4k次,点赞46次,收藏44次。在vim中,最为常见的有三种模式,分别是:命令模式(command mode)、插 入模式(Insert mode)和底行模式(last line mode)文件保存或退出,也可以进行文件替换,找字符串,列出行号等操作。在命令模式下,shift+: 即可进入该模 式。在进入vim后,使用 i 进入插入模式,插入模式就是vim的编辑模式,可以在vim中进行内容的编辑和修改。vim的核心模式,使用vim进入文件编辑时的最初模式,在该模式中只能移动光标和使用命令对文件内容进行编辑。
Linux常用命令大全,包括目录操作命令和文件操作命令,以及查看登录用户命令和文件内容查看命令等。
文章浏览阅读1.7k次,点赞57次,收藏50次。Yearning 简单, 高效的MYSQL 审计平台 一款MYSQL SQL语句/查询审计工具,为DBA与开发人员使用.本地部署,注重隐私,简单高效的MYSQL审计平台。下面介绍Linux 简单部署Yearning 并结合cpolar 内网穿透工具实现远程访问,破除访问限制,提高工作效率!!
文章浏览阅读1.9w次,点赞7次,收藏18次。Microsoft Edge是一款现代化的浏览器,它拥有众多功能和强大的性能,为用户带来更加流畅的浏览体验。Edge最近推出了分屏功能,支持一个窗口同时显示两个选项卡,这可以大大提高生产力和多任务处理能力。欢迎大家使用分屏及其他新功能后分享自己的使用心得与建议。首先,使用Microsoft Edge的分屏功能确实能够提高生产力,尤其是在需要同时浏览两个不同网页的情况下。分屏功能使得在一个窗口中同时显示两个选项卡,用户可以在两个网页之间快速切换,而无需打开新的窗口或使用多个浏览器窗口。_edge linux
文章浏览阅读1.8k次,点赞83次,收藏71次。C语言实现倒计时和进度条并进行演示。_linux不换行输出倒计时
文章浏览阅读1.5k次,点赞28次,收藏25次。基于嘉立创泰山派开发板,本机使用VMware+Unbuntu,编译泰山派的Linux SDK。详细教程,0基础小白可操作!内涵大量基础操作和linux基本知识。_立创泰山派sdk编译