linux – 如果反引号不能执行,则STDER的STDERR重定向会丢失

分类：Linux作者：编程之家用户

如果命令执行失败,我在反引号调用中发现STDERR重定向可能会丢失.我对我所看到的行为感到困惑.

$perl -e 'use strict; use warnings; my $out=`DNE`; print $out'  
Can't exec "DNE": No such file or directory at -e line 1.
Use of uninitialized value in print at -e line 1.

$perl -e 'use strict; use warnings; my $out=`DNE 2>&1`; print $out'
Use of uninitialized value in print at -e line 1.

$perl -e 'use strict; use warnings; my $out=`echo 123; DNE 2>&1`; print $out'
123
sh: DNE: command not found

我的语法不正确吗？

我在Linux上使用Perl 5.8.5.

最佳答案
您的语法是正确的,但在一种情况下perl正在删除错误消息.

通常,请考虑在初始化期间测试您的系统是否具有您想要的命令,如果缺少则请尽早失败.

my $foopath = "/usr/bin/foo";
die "$0: $foopath is not executable" unless -x $foopath;

# later ...

my $output = `$foopath 2>&1`;
die "$0: $foopath exited $?" if $?;

要完全理解输出的差异,有必要了解Unix系统编程的细节.继续阅读.

Unix文件描述符

考虑一个简单的perl调用.

perl -e 'print "hi\n"; warn "bye\n"'

它的输出是

hi
bye

请注意,print的输出转到标准输出STDOUT,并警告写入标准错误STDERR.从终端运行时,两者都出现在终端上,但我们可以将它们发送到不同的地方.例如

$perl -e 'print "hi\n"; warn "bye\n"' >/dev/null
bye

空设备或/ dev / null会丢弃发送给它的任何输出,因此在上面的命令中,“hi”消失.上面的命令是简写

$perl -e 'print "hi\n"; warn "bye\n"' 1>/dev/null
bye

也就是说,1是STDOUT的文件描述符.相反,扔掉“再见”,跑

$perl -e 'print "hi\n"; warn "bye\n"' 2>/dev/null
hi

如您所见,2是STDERR的文件描述符. (为完整起见,STDIN的文件描述符为0.)

在Bourne shell及其衍生产品中,我们还可以将STDOUT和STDERR合并为2>& 1.将其读作“make file descriptor 2的输出与文件描述符1的相同位置”.

$perl -e 'print "hi\n"; warn "bye\n"' 2>&1
hi
bye

终端输出不突出显示区别,但额外的重定向显示正在发生的事情.我们可以通过跑步来丢弃它们

$perl -e 'print "hi\n"; warn "bye\n"' >/dev/null 2>&1

订单与这个shell系列有关,它以从左到右的顺序处理重定向,因此转换两个产量

$perl -e 'print "hi\n"; warn "bye\n"' 2>&1 >/dev/null
bye

起初这可能会令人惊讶. shell首先处理2>& 1,这意味着将STDERR发送到与STDOUT相同的目的地 – 它已经是：终端！然后它处理> / dev / null并将STDOUT重定向到空设备.

这种文件描述符的重复是通过调用dup2来实现的,这通常是fcntl的包装器.

重定向和管道

现在说我们要为命令输出的每一行添加一个前缀.

$perl -e 'print "hi\n"; warn "bye\n"' | sed -e 's/^/got: /'
bye
got: hi

顺序不同,但请记住STDERR和STDOUT是不同的流.另请注意,只有“hi”才能获得前缀.要获得两条线,它们都必须出现在STDOUT上.

$perl -e 'print "hi\n"; warn "bye\n"' 2>&1 | sed -e 's/^/got: /'
got: bye
got: hi

要构造管道,shell使用fork创建子进程,使用dup2执行重定向,并通过在适当的进程中调用exec来启动管道的每个阶段.对于上面的管道,过程类似于

> shell：fork一个进程来运行sed
> shell：使用waitpid等待sed的退出状态

> sed：创建一个管道以将输入提供给perl
> sed：fork一个进程运行perl
> sed：dup2使STDIN从管道的读取端读取
> sed：执行sed命令
> sed：等待STDIN的输入

> perl：dup2将STDOUT从步骤3发送到管道的写端
> perl：dup2将STDERR发送到STDOUT的目的地
> perl：exec perl命令
> perl：写输出并最终退出

> sed：接收和编辑输入流
> sed：检测管道上的文件结束
> sed：使用waitpid获取perl的退出状态
> sed：退出

> shell：填充$？使用waitpid的返回值

请注意,子进程是按从右到左的顺序创建的.这是因为Bourne系列中的shell将管道的退出状态定义为最后一个进程的退出状态.

自己动手管道

您可以使用下面的代码在Perl中构建上述管道.

#! /usr/bin/env perl

use strict;
use warnings;

my $pid = open my $fh,"-|";
die "$0: fork: $!" unless defined $pid;

if ($pid) {
  while (<$fh>) {
    s/^/got: /;
    print;
  }
}
else {
  open STDERR,">&=",\*STDOUT or print "$0: dup: $!";
  exec "perl","-e",q[print "hi\n"; warn "bye\n"]
    or die "$0: exec: $!";
}

第一次打开电话为我们做了很多工作,如perlfunc documentation on open所述：

For three or more arguments if MODE is "|-",the filename is interpreted as a command to which output is to be piped,and if MODE is "-|",the filename is interpreted as a command that pipes output to us. In the two-argument (and one-argument) form,one should replace dash ("-") with the command. See 07003 for more examples of this.

它的输出是

$./simple-pipeline
got: bye
got: hi

上面的代码硬编码了STDOUT的复制,我们可以在下面看到.

$./simple-pipeline >/dev/null

Perl反引号

为了捕获另一个命令的输出,perl设置了相同的机制,你可以在pp_backtick(在pp_sys.c中)看到它,它调用Perl_my_popen(在util.c中)来创建子进程并设置管道(fork,管道,dup2).孩子做了一些管道并调用Perl_do_exec3(在doio.c中)来启动我们想要的输出命令.我们注意到a relevant comment：

/* handle the 2>&1 construct at the end */

该实现识别序列2>& 1,复制STDOUT,并从命令中移除重定向以传递给shell.

if (*s == '>' && s[1] == '&' && s[2] == '1'
    && s > cmd + 1 && s[-1] == '2' && isSPACE(s[-2])
    && (!s[3] || isSPACE(s[3])))
{
    const char *t = s + 3;

    while (*t && isSPACE(*t))
        ++t;
    if (!*t && (PerlLIO_dup2(1,2) != -1)) {
        s[-2] = '\0';
        break;
    }
}

后来我们看到了

PerlProc_execl(PL_sh_path,"sh","-c",cmd,(char *)NULL);
PERL_FPU_POST_EXEC
S_exec_failed(aTHX_ PL_sh_path,fd,do_report);

在S_exec_failed内部,我们发现

if (ckWARN(WARN_EXEC))
    Perl_warner(aTHX_ packWARN(WARN_EXEC),"Can't exec \"%s\": %s",Strerror(e));

这是您在问题中提出的警告之一.

时间线

让我们详细了解perl如何处理您问题中的命令.

正如所料

$perl -e 'use strict; use warnings; my $out=`DNE`; print $out'
Can't exec "DNE": No such file or directory at -e line 1.
Use of uninitialized value in print at -e line 1.

这里没有惊喜.

一个微妙的细节是很重要的理解.仅当条件为要执行的命令为真时,上面处理2>& 1内部的代码才会运行：

if (*s != ' ' && !isALPHA(*s) &&
    strchr("$&*(){}[]'\";\\|?<>~`\n",*s)) {

这是一个优化.如果反引号中的命令包含上面的shell元字符,则perl必须将其移交给shell.但是如果没有shell元字符存在,perl可以直接执行命令 – 节省fork和shell启动成本.

不存在的命令DNE不包含shell元字符,因此perl完成所有工作.生成exec-category警告是因为命令失败并且您启用了警告编译指示. perlop文档告诉我们,当命令失败时,反引号或qx //在标量上下文中返回undef,这就是为什么你得到关于打印$out的未定义值的警告.

缺少警告

$perl -e 'use strict; use warnings; my $out=`DNE 2>&1`; print $out'
Use of uninitialized value in print at -e line 1.

失败的执行警告在哪里？

请记住创建运行另一个命令的子进程的基本步骤：

>为子项创建管道以将其输出发送到父项.
>调用fork创建一个几乎相同的子进程.
>在子项中,dup2将STDOUT连接到管道的写入端.
>在子进程中,exec使新创建的子进程执行另一个程序.
>在父级中,读取管道的内容.

为了捕获另一个命令的输出,perl完成了这些步骤.在准备尝试运行DNE 2>& 1时,perl会分叉一个孩子并且在子进程中导致STDERR成为STDOUT的副本,但是存在另一个副作用.

if (!*t && (PerlLIO_dup2(1,2) != -1)) {
    s[-2] = '\0';
    break;
}

如果2>& 1在命令的末尾并且dup2成功,则perl在重定向之前写入NUL字节.这具有从命令中移除它的效果,例如,DNE 2>& 1变为DNE！现在,在命令中没有shell元字符的情况下,子进程中的perl认为自己是’Self,我们可以直接执行这个命令’.

对exec的调用失败,因为DNE不存在.孩子仍然在STDERR上发出失败的exec警告.由于dup2将STDERR指向与STDOUT相同的位置,因此它不会转到终端：管道的写入端返回到父节点.

父进程检测到子进程异常退出,并忽略管道内容,因为命令执行失败的结果记录为undef.

不同的警告

$perl -e 'use strict; use warnings; my $out=`echo 123; DNE 2>&1`; print $out'
123
sh: DNE: command not found

在这里,我们看到不存在DNE的不同诊断.遇到的第一个shell元字符是;,因此perl将命令不变地移交给shell执行.回声正常完成,然后DNE在shell中失败,shell的STDOUT和STDERR返回到父进程.从perl的角度来看,shell执行得很好,所以没有什么值得警告的.

相关说明

当您启用警告pragma-a Very Good Practice！ – 这将启用exec警告类别.要查看这些警告的完整列表,请在perldiag文档中搜索字符串W exec.

观察差异.

$perl -Mstrict -Mwarnings -e 'my $out=`DNE`; print $out'
Can't exec "DNE": No such file or directory at -e line 1.
Use of uninitialized value $out in print at -e line 1.

$perl -Mstrict -Mwarnings -M-warnings=exec -e 'my $out=`DNE`; print $out'
Use of uninitialized value $out in print at -e line 1.

后者的调用相当于

use strict;
use warnings;
no warnings 'exec';

my $out = `DNE`;
print defined($out) ? $out : "command failed\n";

我喜欢在执行exec,管道打开等问题时格式化我自己的错误消息.这意味着我通常禁用exec警告,但这也意味着我必须非常小心地测试返回值.

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

linux

相关推荐

linux进程通信
linux常用进程通信方式包括管道（pipe）、有名管道（FIFO）、信号（signal）、消息队列、共享内存、信号量、套接字（socket)。管道用于具有亲缘关系的进程间通信,有名管道的每个管道具有名字,使没有亲缘关系的进程间也可以通信。信号是比较复杂的通信方式，用于通知接受进程有某种事件发生，除
Linux常用性能工具功能、用法及原理(一)
Linux性能观测工具按类别可分为系统级别和进程级别，系统级别对整个系统的性能做统计,而进程级别则具体到进程,为每个进程维护统计信息。&#xD;&#xA;&#xD;&#xA;按实现原理分,可分为基于计数器和跟踪以及剖析。含义如下:&#xD;&#xA;&#xD;&#xA;计数器:内核维护的统计数据，通常为无符号整型,用于对发生的事件计数,比如，网络包接收计数器,磁
curl命令详解
本文详细介绍了curl命令基础和高级用法，包括跳过https的证书验证，详细追踪整个交互过程,可用于调用网络后端接口，诊断http和https网络服务故障。
linux常用命令示例汇总
本文包含作者工作中常用到的一些命令,用于诊断网络、磁盘占满、fd泄漏等问题。命令包括ping、fping、tcpdump、lsof、netstat、/proc/$pid/fd、du、grep、traceroute、dig。
linux平均负载的理解及原因排查
linux的平均负载表示运行态和就绪态及不可中断状态(正在io)的进程数目,用uptime查看到负载很高，既有可能是CPU利用率高，也可能是大量在等待io的进程导致，用mpstat查看每个CPU的使用情况，查看CPU的使用率或者CPU花在等待io的时间，接着用pidstat定位具体的进程
CPU上下文切换
CPU上下文频繁切换会导致系统性能下降，切换分为进程切换、线程切换及中断切换，进程切换的开销较大，除了需要保存寄存器和程序计数器中的值还需保存全局变量、栈等到内存中，以便下次运行恢复，而同一进程中的线程切换开销会小很多，只需更新寄存器和线程独有的栈，共享资源如打开的文件、全局变量等无需切换，当硬件中
linux常用命令学习笔记
1.top命令 作用：该命令可以按CPU使用.内存使用和执行时间对任务进行排序，常用来监控系统中占用CPU或内存较高的程序及CPU和内存的负载。 默认视图： 当想看系统负载时，可观察汇总的%CPU中的us用户进程和sy系统进程是否占用CPU很高，相加接近100%就说明占用很高了，有些程序可能得不到及
【Linux】权限完结
文章浏览阅读1.8k次，点赞63次，收藏54次。Linux下的目录权限！！！粘滞位！！！超详解！！！
5、关于Qt的安装、Windows、Linux、MacBook
文章浏览阅读1.6k次，点赞44次，收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
Linux之shell脚本
本文介绍了使用shell脚本编写一个 Hello
【Linux】糟糕，是心动的感觉——与Linux的初次相遇
文章浏览阅读1.5k次，点赞37次，收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
Linux超详细笔记
文章浏览阅读3k次，点赞34次，收藏156次。Linux超详细笔记，个人学习时很认真的记录的，觉得好的麻烦点个赞。
【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1（亲测无问题，建议收藏）
文章浏览阅读6.8k次，点赞109次，收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1（亲测无问题，建议收藏）_openssh_9.5p1
【Linux】线程概念和线程控制
文章浏览阅读3.5k次，点赞93次，收藏78次。初识Linux中的线程，理解线程的各种概念，理解进程地址空间中的页表转换，介绍pthread线程库并理解线程库！
UE Linux常见错误
文章浏览阅读863次。出现此问题为Linux文件权限问题，解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
Linux shell操作.csv文件
文章浏览阅读2.9k次。使用文本编辑器：打开CSV文件，并使用文本编辑器（如Notepad++、Sublime Text、Visual Studio Code等）来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意，上述方法并非绝对准确，特别是当文件没有明确的编码标识时。因此，如果你发现CSV文件在不同的工具或方法中显示不同的编码格式，可能需要进行进一步的分析和判断，或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具：在命令行中，你可以使用。_shell读取csv文件逐行处理
linux升级gcc版本详细教程
本文介绍了如何在Linux系统中升级gcc版本，以便更好地支持C++11及以上版本的新特性。通过升级gcc，可以提升编译器的功能和性能，获得更好的开发体验。详细的步骤和方法请参考原文链接。
linux下的mosquitto服务安装及使用（避坑指南）
文章浏览阅读4.4k次，点赞6次，收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单，可以方便的来进行一些测试。_linux mosquitto
Linux ~/.ssh目录详解和密钥对使用
文章浏览阅读7.2k次，点赞2次，收藏12次。Linux中，用于根目录下有一个.ssh目录，保存了ssh相关的key和一些记录文件。_~/.ssh/
安装和配置SNMP(windows10和Linux)--附SNMP客户端工具
文章浏览阅读4.5k次，点赞5次，收藏18次。首先需要安装 snmp ，使用下面的命令进行安装安装完毕之后，使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot